2017-05-04 06:08:14 120.xx.xxx.xxx GET / - 80 - 58.211.2.120 Python-urllib/2.7 200 0 0 54
持续两三天了,每秒钟几十次记录,这是网站被攻击还是有人采集内容?
持续两三天了,每秒钟几十次记录,这是网站被攻击还是有人采集内容?

1 misaka19000 May 4, 2017 via Android 这爬虫还把自己给暴露出来。。。神奇 |
2 woshinide300yuan May 4, 2017 这不是明显的该屏蔽的吗 - - |
3 billlee May 4, 2017 耿直的爬虫 |
4 notes May 4, 2017 via Android 目测新手,用的还是自带的 urllib |
5 bytenoob May 4, 2017 via Android 脚本小子 |
6 wspsxing May 4, 2017 UA 都不改一下,差评妥妥的。 |
7 ywgx May 4, 2017 留着过年? |
8 LokiSharp May 4, 2017 估计故意的。。。看看有没有人处理 |
9 richardma May 5, 2017 猖狂的爬虫,23333 |
10 tonychow May 5, 2017 显然爬虫, 都不知道隐藏下 UA |
11 araraloren May 5, 2017 ~~ 再明显不过的爬虫了。。 封了 IP 呗 |
12 crackhopper May 5, 2017 666666 |
13 yanzixuan May 5, 2017 连 UA 都不知道改的,估计是新手。另外你们的网站不设置一个 Limiter,限制一下一天的总的访问次数么? 如果对方换 IP,你就限制下 1 分钟 /1 小时之内的访问次数吧。 |
14 tttty May 5, 2017 请问一下,如果遇到爬虫直接封 IP,这样不是会导致共用公网 IP 的用户误伤吗.. 比如校园网、网吧什么的? |
15 hard2reg May 5, 2017 via iPhone 弱弱的问下,requests 的默认 ua 是啥 |
16 jy02201949 May 5, 2017 真是耿直啊,而且还在用 urllib,新手随便抄了网上哪个教程弄的爬虫吧 |
17 eycfsjd May 5, 2017 使用验证码机制啊 |
24 liuxu May 5, 2017 我虽然是个爬虫,但我行事坦荡,从不遮遮掩掩 |
25 fuxkcsdn May 5, 2017 @hard2reg >>> import requests >>> requests.get('http://httpbin.org/user-agent').text u'{\n "user-agent": "python-requests/2.12.3"\n}\n' |
26 hsmocc May 5, 2017 via iPhone 封 IP 显然是下策啊,一段时间内访问次数达到一个上限后出验证码吧 |
27 tianxiacangshen OP @hsmocc 这样的话 每一次访问都要查询(次数)+插入数据库,不是很占用资源吗 |
29 dsg001 May 5, 2017 这种 UA 直接返回乱码数据呗 |
30 qinbingchen May 5, 2017 难道这是我? |
31 flyshu May 6, 2017 新手刚看了知乎的入门教程来练手了 |
32 dreamcountry Jul 16, 2017 我的网站也有大量的这种日志,这些人真是闲的蛋疼 |