@WordTian 你好，请问设置过 bindip 同时绑定 locahost 跟外网本地 ip 吗？

net:
port: 27233
bindIp: 127.0.0.1,localhost,154.***.***.***

我设置成这个的时候，所有的 ip 都可以连接上去。如果删除了 154 开头的外网 ip，就只能本地连接数据库了。

服务器上 netstat -a |grep :27233 显示如下：

tcp 0 0 localhost:50822 localhost:27233 ESTABLISHED
tcp 0 0 localhost:27233 localhost:50818 ESTABLISHED
tcp 0 0 154.XXX.X.XXX:27233 116.XXX.X.XXX:60584 ESTABLISHED

请问我的设置哪里出现了问题？搞了一整天了没找到资料。或者我干脆放弃 bindip，从 iptables 下手可行？谢谢！

Apr 26, 2019

Replied to a topic by seoguess Python Python 爬虫多线程问题咨询

原来 max_worker 为空的情况下，默认线程为 cpu 核数量*5，难怪花了 300+秒。

Apr 26, 2019

Replied to a topic by seoguess Python Python 爬虫多线程问题咨询

@zy342500 谢谢，我以为放空的话就是没有限制。

max_workers=100，跑完用时 79 秒
max_workers=1000，跑完用时 49 秒

Apr 26, 2019

Replied to a topic by seoguess Python Python 爬虫多线程问题咨询

@scriptB0y 我用 concurrent 模块重新修改了下代码，发现效率比我之前的代码差了好多....
for 循环: #获取 cookie:
threads = [ (i.get('hotelId'),headersCookie) for i in id_lines.find() ]
pool = ThreadPoolExecutor()
future_tasks = [ pool.submit(start_claw, t) for t in threads ]
wait(future_tasks, return_when=ALL_COMPLETED)

time.sleep(3)

3K 左右的链接，用时 382 秒

for 循环: #获取 cookie:
threads = []

for i in id_lines.find():
hotelId = i.get('hotelId')
threads.append(hotelId)

for hotelid in threads:
t = ClawData(hotelid,headersCookie)
t.setDaemon(True) #防止程序异常退出时，有僵尸进程存在
t.start()

for hotelid in threads:
t.join()

time.sleep(3)

用时：52 秒

请问为啥效率可以差别这么大？

More replies by seoguess