就是一个爬虫用,抓了数据进管道,然后另一端清洗归类存 SQL。 但抓的东西会分类,有没有可以分类,可以像 KAFKA 那样搞好几个主题分类,不同的数据进不同的管道,另一端也是不同的处理类模块接收处理?
其实 kafka 看上去极好,就是这种要单独运行一个服务的东西,真的不喜欢,又不是多大的项目,没必要啊。
1 feverzsj 2018-11-24 23:23:52 +08:00 你建个表做消息队列不就好了 |
2 fsneak 2018-11-24 23:28:41 +08:00 via Android ![]() 用 Redis 的 channel,够轻量吧 |
![]() | 3 ericls 2018-11-24 23:32:53 +08:00 via iPhone Elixir/Erlang 自带的消息? |
4 julyclyde 2018-11-25 08:45:34 +08:00 抗拒“独立运行一个服务” 试试 zeromq ? |
![]() | 5 CodeCore 2018-11-25 12:06:29 +08:00 via iPhone NSQ,NATS,推荐用有赞自己 Fork 的 NSQ。。。 |
![]() | beanstalk |
![]() | 8 BingoXuan 2018-11-25 20:04:57 +08:00 zmq ? |