这是一个创建于 1384 天前的主题，其中的信息可能已经有所发展或是发生改变。
性能上的差异是微乎其微的，Spark 底层都是转换成 RDD 执行。对于习惯写 SQL 的人来说，似乎关注 SQL 层面的优化即可。大佬们生产上都怎么用？
 | 1 picone 2022-02-21 00:05:06 +08:00 我觉得重点还是需要关注最终执行计划，怎么实现都不重要。看看 DAG 有没有可优化的地方，比如减少 shuffle 数据，把重复计算的地方 cahce 等等。 |
 | 2 F281M6Dh8DXpD1g2 2022-02-21 00:18:42 +08:00 via iPhone 写啥都一样 |
 | 3 sl19981007 2022-02-21 10:11:13 +08:00 sql 能实现的用 DataFrame 的各种函数也都能实现，看个人习惯吧，用哪个都能用到 Spark SQL 的各种优化机制，Catalyst 、Tungsten 等,重要的还是减少 shuffle 吧 |
 | 4 vincent7245 2022-02-21 10:36:45 +08:00 看具体业务啦，对于临时性的简单业务，一般公司大数据中台都可以直接把 sql 提交到 spark 运行，这样更灵活一些。对于复杂的业务，一条 sql 搞不定的，或者比较稳定的业务，就手撸 DataFrame |
 | 5 Aksura 2022-02-21 17:51:43 +08:00 混合着用，有的逻辑 SQL 写清晰，有的逻辑调用方法清晰。 |
Select Language