This topic created in 1446 days ago, the information mentioned may be changed or developed.
如题所述
我想搞个热点聚合页面，每天给自己看看新闻，吃吃瓜啥的
爬取热点信息的频率为 10~20 分钟一次，不知道会不会被封 ip
这方面我不是很懂，没啥经验
之前爬过豆瓣的电影排行榜，结果爬的频率过高就给我封了一晚上
有自己的服务器，后端打算用 nodejs 写
v 友们有啥好的建议吗？
我想搞个热点聚合页面，每天给自己看看新闻，吃吃瓜啥的
爬取热点信息的频率为 10~20 分钟一次，不知道会不会被封 ip
这方面我不是很懂，没啥经验
之前爬过豆瓣的电影排行榜，结果爬的频率过高就给我封了一晚上
有自己的服务器，后端打算用 nodejs 写
v 友们有啥好的建议吗？
 | 1 ClericPy May 14, 2022 目前多数网站我这边 5 分钟一次没发现反爬 有些网站走了机器学习等思路反反爬, 抓取频率如果太均衡或者非人类作息什么的会反爬, 但是大多数对网站不造成伤害的频率都是安全的. 以上是反爬角度, 至于法务角度就不赘述了 |
 | 2 Ultraman May 14, 2022 via Android 看看 rsshub 有没有相关路由先？ |
| 4 Ultraman May 15, 2022 via Android  1 |
 | 6 brave256 May 16, 2022 1 可以参考下 https://tophub.today/ |
Select Language