这是一个创建于 875 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前遇到一个需求，应该是大数据处理范畴，不过我没有做过类似需求，看看各位有没有什么好的解决方案推荐
就是要实现图中的 taskA 、taskB 、taskC
技术栈是 JAVA
 | 1 9113946 2023-05-29 09:14:39 +08:00 spark sql 轻松解决 |
 | 2 xiangagou 2023-05-29 09:53:08 +08:00 看你的数据量和具体需求喽,大数据那套可以做,Java 自己处理数据也可以做.大数据主要搭起来麻烦,写写脚本都是比较简单的. |
 | 3 bk201 2023-05-29 09:55:08 +08:00 看你的图和大数据好像没啥关系。 |
 | 4 bugmakerxs OP @xiangagou 每天 100w 左右数据要处理，要考虑并行和水平扩容提高处理效率的话，感觉直接写代码会比较麻烦，，，process1~processN 之间也可能有相互依赖。flink 那套不知道能不能一把梭 |
| 5 xiangagou 2023-05-29 10:34:24 +08:00 @bugmakerxs flink 能搞得.我看了下 es 的 sink 端官方有的,source 端没有需要自己处理. |
Select Language