这是一个创建于 2334 天前的主题，其中的信息可能已经有所发展或是发生改变。
把需求里 最核心的两个技术性的难点问题再说明一下
对性能（实时性）有非常高的要求， 抓取到的新闻 最多 1s 内的延迟
再就是部分抓取网站有 websocket 的接口推送新闻的，这个需要搞定
能够解决上面两个问题的联系我，最好是有实际相关项目经验的
开发费用 1w，维护费用 5k/年，服务器硬件还有代理部分预算支出在 2w/年 ，
爬取网站 10 个左右，爬取时间一天 6 小时
联系方式 球球:196063
 | 1 airyland 2019-05-28 09:54:17 +08:00 1s 延迟，先说能不能达到这个延迟，你考虑过人家网站的感受么。 |
 | 2 tikazyq 2019-05-28 09:56:53 +08:00 这种实时性要求高的爬虫需要对网页进行秒级监控，这个有些难度，可以用 polling 来搞。websocket 爬虫我认识一个大牛，可以 wx 我 tikazyq1 顺便打个广告，Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业 // github.com /tikazyq/crawlab |
 | 4 explorerEX 2019-05-28 10:01:05 +08:00 应该是金融类的产品吧，响应可以在这范围内，稳定性不一定能达到 |
 | 5 Moker 2019-05-28 10:01:24 +08:00 什么类型的网站？ |
 | 6 lekai63 2019-05-28 10:02:27 +08:00 via iPhone 1 天 6 小时 估计是爬 gov 网站 基于舆情作交易吗 |
 | 7 Taeye9n 2019-05-28 10:03:41 +08:00  1 2w/a 买代理都不够的吧 |
| 8 airyland 2019-05-28 10:07:41 +08:00 1 @zinfinb 不会挂不意味着这样频率的请求是合理的，大部分在爬的人估计都是这么想的。你考虑的是反正人家不会挂，而站方必须增加更多额外人力资源成本来应对爬虫。 |
 | 10 dryadent 2019-05-28 10:16:08 +08:00 1 我觉得这个的主要难点在于 1s 之内响应，对应的就是反爬策略的更新和代理的稳定性，我觉得 2w 付代理确实有难度 |
 | 11 davie 2019-05-28 10:16:19 +08:00 1 这个要求有点疯狂啊 |
 | 12 fate 2019-05-28 10:16:27 +08:00 自己做新闻源？ |
 | 13 native 2019-05-28 10:17:11 +08:00 爬取时间一天 6 小时 ，如何做到实时？只有 6 个小时实时。 |
| 15 dryadent 2019-05-28 10:20:55 +08:00 @zinfinb 对，我觉得代理这部分可以看着来，一般的网站即使把 ip 封了也不会一直封禁，有一个静默期，用代理池一直更新就好了，主要是测试到准确的静默期边界存在困难 |
 | 16 lesterchen 2019-05-28 10:22:50 +08:00 不会被计算机犯罪么~ |
 | 17 jpacg 2019-05-28 10:29:51 +08:00 1 这个确实很危险，算计算机犯罪了，赚白菜的钱，操白粉的心。 |
 | 18 Constellation39 2019-05-28 10:32:31 +08:00 监狱里面找 /狗头 / |
 | 19 murmur 2019-05-28 10:35:56 +08:00 1s 延迟你要把别人网站爬炸 |
 | 20 dongya 2019-05-28 10:36:36 +08:00 1 洗洗睡吧 |
 | 21 zuoakang 2019-05-28 10:36:46 +08:00 via Android 白菜价 |
 | 22 liwl 2019-05-28 10:41:48 +08:00 话说，多加几台机器，轮流跑 可以么 比如 5 台 5s 一次 每台之间间隔 1s 加钱可达？ |
 | 23 locoz 2019-05-28 10:51:47 +08:00 1 这需求没法做的，“最多 1s 内的延迟”这一点，技术层面都不一定所有网站可行，道德层面问题就更大了。。 1s 内的延迟意味着你需要至少 0.5 秒刷新一次，对于一些比较菜的网站来说就是 DDOS 了，虽然可能不会当场爆炸但也会压力山大；如果人家挂了付费 CDN 的话即使全部打在缓存上、对服务器本身没有压力，也还是会有流量费的问题。 |
 | 24 onepunch 2019-05-28 11:44:40 +08:00 这个需求很简单，怎么实现我不管 ，dog |
 | 25 zzcworld 2019-05-28 11:50:34 +08:00 1 你可以跟这些网站合作拿信息，不过费用就不只两万了。 我以前写过一个 proxy，可以把这个软件接受的所有信息转发，延迟在 0.1s 以内。 频繁刷新不可取，websocksets 还可以 |
 | 26 chol 2019-05-28 12:34:34 +08:00 via iPhone 可以做啊，预算加个 0 |
 | 27 ensonmj 2019-05-28 13:13:38 +08:00 1 1s 延迟，这个需求估计是拍脑袋拍出来的 |
 | 28 rocketman13 2019-05-28 13:15:10 +08:00 费用感人。。 |
 | 29 zinfinb OP @zzcworld 多谢你的建议， 有一些细节我想请教一下，是否方便发我你的联系方式？ 我现在考虑把重要的按你说的 proxy 的方式来做， 有 websocket 替代的尽量用这个。其他不重要的 刷取间隔时间调长一些 |
 | 30 lasuar 2019-05-28 14:16:58 +08:00 既然是找别人做，就不要想着投机套方案，之前 V 站也有这种人，最后在这里不敢发言了。 |
 | 31 luozic 2019-05-28 14:20:03 +08:00 via iPhone ，ip 代理费 |
 | 32 demoxu 2019-05-28 17:12:50 +08:00 |
| 33 demoxu 2019-05-28 17:13:51 +08:00 首先不说开发费用，5k/年的维护费用平均 400/月？ |
 | 34 lifeintools 2019-05-28 17:18:06 +08:00 这个价格 招实习生 差不多 |
 | 35 Navee 2019-05-28 17:43:45 +08:00 1s 延迟，单页面日最少请求=3600*24=86400，平均一个代理请求 1000 次，得至少 86 个代理轮换 |
 | 36 mzdblsw8 nbsp;2019-05-29 02:43:06 +08:00 via iPhone 有没有想过。一年维护费才 5000。 网站改一下策略。又要改代码。一个月才 400。那个大牛这么便宜？ |
Select Language