V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 3199 days ago, the information mentioned may be changed or developed.
假设内容页文字和图片都有。
 | 1 cxbig Jul 25, 2017 这么开放的问题叫人怎么回答… 哪个网站？什么工具？什么带宽？手上有多少 IP ？制约因素太多了… |
 | 2 binux Jul 25, 2017 就我呆过的公司 10 分钟到 100 毫秒不等 |
 | 4 xiayibu OP 如果是拨号 VPS 这种，开进程会不会被封 |
 | 5 ericbize Jul 25, 2017 via iPhone 上次 1 核 1g 的阿里云，单线程程序 爬了 10w 张几 k 的图 用了一晚上。 其实不用介意用了多久，只要程序没毛病，晚上一开白天醒来就差不多了。 |
 | 6 am241 Jul 25, 2017 via Android 爬福利，不想被封，也不想对目标站造成压力，爬了一晚上 |
 | 7 est Jul 25, 2017 写爬虫不加上 sleep(5) 也敢号称分布式爬虫？ |
 | 8 caijihui11 Jul 25, 2017 怎么爬福利啊，透露下 |
 | 12 pcdRob Jul 25, 2017 几分钟 |
 | 13 calpamomo Jul 25, 2017 看网速 |
 | 14 jugelizi Jul 25, 2017 10s 抓完 然后发现全是脏数据 |
 | 15 XiaoFaye Jul 25, 2017 @faceair 百度的蜘蛛的速度我不怀疑，问题是人家的 Web Server 慢你也没办法是吧？本机 Ping 也要 0.0X 毫秒一次，一个 web 请求怎么也不会比这个快吧？ 100 毫秒 1 万个有点悬呀。 |
 | 17 ReisenZ Jul 25, 2017 via Android 抓过漫画站…因为是自己看就慢慢抓了…几个小时吧… |
 | 18 xiaomacai Jul 25, 2017 1s+，是不是可以 DDoS 了 |
| 19 xiayibu OP 几秒的那是爬取网页吗，跟攻击网站没有区别啊 |
 | 20 linus3389 Jul 25, 2017 ssd，或者 redis，下行 10m/s 不要眨眼哦 |
 | 21 hihihihihi Jul 25, 2017 看大小吧， 我本机上写的程序， 抓股票数据，3000 多只股票，3 种时间数据， 算下来差不多 1w 个请求， 用 gevent，30 秒左右全部拿下来， 下载的数据打包有 200 多 mb， 我家 100MB 带宽。要是整个分布式的，那就更快了。 |
 | 23 WoodenRobot Jul 25, 2017 @jugelizi 一开口就知道老江湖了。 |
Select Language