
1 defunct9 1 天前 干嘛不用,AWS Redshift ,或者 flink 、spark 之流 |
2 skallz 1 天前 我之前写过一个数据采集加数据分析,就靠它,当时预设的数据量太大了,如果直接走服务器并发量会把服务器打爆,然后发现了这么个东西,只需要前端上传数据文件到 s3 ,然后 athena 对接 s3 就够了,不过 athena 速度有点慢,得看业务场景 |
3 rockxsj 1 天前 athena 我记得就是 presto(trino)。 我们之前的方案的确长期就是对象存储+trino ,不过现在换成了对象存储+starrocks ,性能比 trino 要高不少。 |
4 lxdlam 1 天前 我们是 Iceberg on S3 + Athena/Glue(Serverless Spark) 的架构,中间用 dbt 做数据建模 + dagster 做 ETL flow 的管理,整体体验不错,下游支撑了大部分离线应用,比如 Superset 看板 etc 。 |