V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 1943 days ago, the information mentioned may be changed or developed.
然后发现 aiohttp 不走系统代理，但是 requests 是走系统代理的。 求问怎么设置可以让 aiohttp 走系统代理呢？
 | 1 locoz Jan 1, 2021 via Android 这其实是个锻炼自己看代码解决问题能力的好机会，requests 的代码很简单明了，你找到它的做法照抄一份用在 aiohttp 上就行了，不难的。 你看你这在 v2 上问，过了差不多一个小时了也得不到答案…而你要是自己会看代码，分分钟就完事了。 |
 | 2 learningman Jan 1, 2021 @locoz 要自己包装实现 CONNECT，好像也没那么简单。。。 |
| 3 locoz Jan 1, 2021 @learningman #2 他这情况估计就是懒得设置代理而已，直接把读环境变量和注册表的那部分翻出来执行一下，然后传去填代理设置就好了。考虑复用的话就再简单封装个获取 session 对象的函数，不用搞那么复杂。（固定设备的话其实还有个邪道做法，直接用 Proxifier 让 Python 进程走代理...） |
 | 4 so1n Jan 1, 2021 via Android 写爬虫不用 aiohttp 可以省很多烦恼 |
 | 5 wangyanyansg Jan 1, 2021 via iPhone 可以来我做的"技来技往 app”找个会爬虫的军师参谋来问问 |
 | 6 Liyiw Jan 1, 2021 |
 | 7 abersheeran Jan 1, 2021 @so1n 赞同，aiohttp 会有很多奇怪的问题。 |
 | 8 baobab Jan 1, 2021 @abersheeran 赞同，而且异步爬一个站点太快很容易被封 ip，这个坑走下去没完没了了。 |
| 9 abersheeran Jan 1, 2021  1 @baobab 控制不了速度是你的问题不是异步爬虫的问题。 |
 | 10 baobab Jan 1, 2021 @abersheeran 求大神教我怎么控制速度 |
 | 11 nyxsonsleep OP @Liyiw 我是知道怎么设置 aiohttp 和 requests 的代理，但我不想设。我只是想他默认走系统代理 |
| 12 nyxsonsleep OP @baobab 共用一个 session 可以设置参数控制连接数。另一个可以在 loop 循环中添加非异步 sleep 。 |
Select Language