V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2158 days ago, the information mentioned may be changed or developed.
自己在电脑上用 virtualbox 搭了一个虚拟集群，3 台 centos，内存大小 2048mb，硬盘大小 48g 。一个 master 两个 slaves，都安装了 spark 和 hadoop 。 尝试跑了 wordcount，数据大概从 200mb 到 1500mb 。跑出来的结果是 hadoop 只比 spark 慢一点，有的数据量差不多快。 我很奇怪为什么会出现这样的结果。两者硬件条件一样，而且我两个都用的是 yarn 来分配资源，spark 的优势为什么显示不出来呢？
 | 1 billlee Jun 3, 2020 1. wordcount 太简单了，利用不上 spark 的优势 2. 1500mb 的数据量也太小了，运行时间恐怕还没创建销毁 application 的开销长。直接用单机单线程的 wc 恐怕比这两个都快 hadoop 和 spark 是在双路 CPU 几百 GB 内存的服务器都处理不过来时用的，拿 3 台 2GB 内存的虚拟机来测性能没有意义。 |
 | 2 yuikns Jun 3, 2020 @billlee +1 spark 的优势在于用程序的方式构建一些任务的 DAG 然后自动推导可以 schedule 出优化后的 spark jobs. 在有比较复杂的任务的时候浪费的算力会少很多。 https://i.stack.imgur.com/cyvd1.png 低性能的虚拟机下 spark 和 hadoop 比很多单机程序都慢。不过如果单纯内部比较，当任务变得复杂后，hadoop 浪费了较多算力，我觉得还是可以看出出性能的区别的。 |
 | 3 snappyone Jun 3, 2020 via Android 你这个配置拿来玩玩就行了，性能就不要深究了 |
Select Language