这是一个创建于 3638 天前的主题，其中的信息可能已经有所发展或是发生改变。
写了个 python 程序通过请求 api 批量获取数据，放到 EC2 上跑了，刚开始半小时能处理上万条数据， EC2 里监控看到网络输出 5 分钟内平均也有 1.3M ，但是后来就变慢了， 12 个小时才处理不到 5 万多条，网络输出也降到了 0.3M ，之前以为是程序问题，但是后来在本地电脑上跑， 12 个小时都处理 15 万条了。是不是 aws 限制了我的带宽？可有办法破？一年免费计划的
 | 1 gamexg 2015-12-13 09:30:58 +08:00 api 是哪国的？ 考虑过网络问题吗？ |
 | 2 nicktogo OP @gamexg 这个真没想到， EC2 是日本区， api 是美国的，组合有点奇怪。。可能还真是这个问题，不过我本机没翻墙 |
 | 3 oott123 2015-12-13 10:21:30 +08:00 感觉楼主的信用卡要爆 |
 | 5 aabbccli 2015-12-13 11:04:05 +08:00 你不会是在 EC2 上爬 AMAZON 产品吧 |
 | 7 initialdp 2015-12-13 11:25:00 +08:00 via Android 不一定是 ec2 的问题，也可能是对端限制了抓取。 |
 | 8 semicircle21 2015-12-13 18:14:22 +08:00 关注一下磁盘 IO, IO 也有漏斗算法, 不在乎预算可以试一下 Provision 的 IOPS 看看有没有改善. |
 | 9 itopidea 2016-01-06 10:21:42 +08:00 我也发现了，现在打开越来越慢啊 http://freebt.org/ |
Select Language