这是一个创建于 3686 天前的主题，其中的信息可能已经有所发展或是发生改变。
有没有做过 Hadoop/MapReduce 实际应用的 v 友呢？跪求小伙伴传授入门经验。我是做体感人机交互、虚拟现实的，如果你也对此感兴趣，那就更好不过了。
 | 1 Geoion 2015-09-11 14:05:35 +08:00 先 mark |
 | 2 xsjguagua 2015-09-11 17:30:41 +08:00 天天撸这个。。但很好奇，这 hadoop 和 lz 的虚拟现实方式有什么交集呢？ |
 | 3 xunyu 2015-09-11 17:34:51 +08:00 via Android mark, 楼主瓶颈在哪里 |
 | 4 loryyang 2015-09-11 17:55:57 +08:00 hadoop 这种成熟的技术，自学就行了，多看看书，有时间的话看看源码，写几个 MR 。 说实话，实际场景遇到的问题，大部分自己是没法遇到的，因为你根本搭不起那么大的集群，这种经验只能去看别人写的文章或者去公司里面工作才能遇到 |
 | 5 defunct9 2015-09-11 18:48:28 +08:00 via Android 管理过 600 节点(实体机)的 hadoop 集群，貌似开发人员用的多数是 hive 和 r |
 | 8 vietor 2015-09-11 20:42:14 +08:00 via Android spark 呀 |
| 9 defunct9 2015-09-11 20:58:56 +08:00 via iPad @nower 我是运维.负责搭环境.貌似各种奇怪的玩意都装， storm ， spark ， facebook 的。但他门用的最多是 hive 。跑定时任务，好像是出数 |
| 10 xsjguagua 2015-09-11 21:20:47 +08:00 @nower 你是想搞分布式的图像识别模型训练么，这技术本身难度就不小。但即使不谈技术，你想快速的出模型，进行使用的话，集群资源也是问题啊 |
 | 12 laozhao0 2015-09-11 21:36:15 +08:00 我是搞 hadoop 的，也是在数百台的集群上跑，好像每台机器内存 64G ，每天有数十 TB 的数据产生。 实际中如 @defunct9 所说，大多数时候用 hive ， hadoop MR 一般写好一次就不管了，最多换一下配置文件。 MR 输出的文件 location 到 hive 表目录下，使用 hive 进行统计查询。 hive 的话，只要会写 SQL 语句，就没有入门的门槛。 所以，其实作为一般分析人员，没什么难度的，最多用 java 写一个 UDF ，或者用 python 写一个 streaming 。 更深的，我也不太懂。 现在可以学 spark 啊，简单又方便。 |
| 13 xsjguagua 2015-09-11 22:02:48 +08:00 @nower 如果图像简单的话，那单机训练出模型就可以了啊，使用的时候过模型的速度是很快的，即使要 online learning 的速度也是可以的。 mr 那套是离线处理，速度不够的 |
 | 14 1000copy 2015-09-11 23:25:26 +08:00 互换技术，多新颖的想法。 |
| 15 xunyu 2015-09-11 23:30:42 +08:00 via Android 用 mesos spark 可能更符合你的需要， hadoop 落盘计算效率堪忧 |
 | 16 AgentK 2015-09-12 05:34:05 +08:00 怎么换? 像武侠片一样把功力传给我吗? |
Select Language