
各位佬,请教一个问题,我写了一个下载 ts 视频的爬虫,在电脑上,开了 30 个线程去下载,就能达到 6MB/s ,现在我把这个脚本放到斐讯 N1 盒子的 docker 容器上去下载,把线程修改成了 4 个,结果下载就很慢,有什么办法能提升呢,想请各位指点哈,斐讯盒子接了移动硬盘。感谢各位指点。这里可能是线程的原因,我想知道的是如何提升下载速度,感谢各位。
1 yzding 2024-06-27 21:15:35 +08:00 via iPhone 你看看你接硬盘写入速度是多少 |
2 lulinihao 2024-06-27 21:54:20 +08:00 电脑 4 线程速率是多少? |
3 Mrrobot233 2024-06-28 08:38:13 +08:00 via Android b 站搜下携程相关的内容,具体的我也忘了,21 年写过,现在 python 不知道咋样了 |
4 su14772 python 非最新版本的话,多线程有 GIL 锁,用不了多核心,意义不大。下载视频的爬虫,时长可能会很长,异步协程可以加速,但是应该也加不了多少。试试多进程+协程吧 |
5 gray0 2024-06-28 09:28:27 +08:00 |
6 EndlessMemory 2024-06-28 09:57:55 +08:00 也开 30 个线程 |
8 yagamil 2024-06-28 12:46:05 +08:00 斐讯的 N1 盒子 usb2.0 质量不行。 |
9 lzZzeucJri6FcR0o 2024-06-28 17:39:53 +08:00 @su14772 #4 大错特错。。。爬虫用的就是多线程,和 GIL 锁没关系,多核性能用在 cpu 密集计算 |
10 atx 2024-07-03 21:24:07 +08:00 换个思路呢,python 只负责解析下载链接,调用 aria2 下载,轻松跑满带宽。 |