V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2611 days ago, the information mentioned may be changed or developed.
JavaPairRDD<String, Map<String, String>> 结构的 RDD，input data 约在 1T 作用，使用常规的 reducebykey 的 excutor 内存会不够， 目前，spark.executor.memory 设置的 4G，准备继续往上加到 8G 再试， 这种情况下除了 加 executor.memory 还有其他 有效解决方式吗？ 小弟 spark 菜鸡，希望各位大佬给点指导。
 | 1 decken Mar 4, 2019 内存不够时间来凑 可以用 reparation 将数据分成更多分区 |
 | 2 ijk0 Mar 4, 2019 增加 executer 数 |
 | 3 bsidb Mar 4, 2019 用 Spark 的 DataFrame 的 API 来完成聚合操作。DataFrame API 在处理超大规模数据时，性能比 RDD 的 reduceByKey 高非常多。 |
table cellpadding="0" cellspacing="0" border="0" width="100%"> 
4
sampeng Mar 4, 2019 via iPhone 你这个怎么感觉就跟 500m 内存怎么分析一个 T 数据一个故事呢…内存不够时间来凑…
 | 7 burby Mar 4, 2019 via iPad google bigquery |
Select Language