EC2 网络输出速度逐渐变慢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
nicktogo

EC2 网络输出速度逐渐变慢?

  •  
  •   nicktogo Dec 13, 2015 5436 views
    This topic created in 3790 days ago, the information mentioned may be changed or developed.
    写了个 python 程序通过请求 api 批量获取数据,放到 EC2 上跑了,刚开始半小时能处理上万条数据, EC2 里监控看到网络输出 5 分钟内平均也有 1.3M ,但是后来就变慢了, 12 个小时才处理不到 5 万多条,网络输出也降到了 0.3M ,之前以为是程序问题,但是后来在本地电脑上跑, 12 个小时都处理 15 万条了。是不是 aws 限制了我的带宽?可有办法破?一年免费计划的
    9 replies    2016-01-06 10:21:42 +08:00
    gamexg
        1
    gamexg  
       Dec 13, 2015
    api 是哪国的?
    考虑过网络问题吗?
    nicktogo
        2
    nicktogo  
    OP
       Dec 13, 2015
    @gamexg 这个真没想到, EC2 是日本区, api 是美国的,组合有点奇怪。。可能还真是这个问题,不过我本机没翻墙
    oott123
        3
    oott123  
      &nsp;Dec 13, 2015
    感觉楼主的信用卡要爆
    nicktogo
        4
    nicktogo  
    OP
       Dec 13, 2015
    @oott123 担心过,所以一直看着账单呢,本月至今 0.1 刀,还好
    aabbccli
        5
    aabbccli  
       Dec 13, 2015
    你不会是在 EC2 上爬 AMAZON 产品吧
    nicktogo
        6
    nicktogo  
    OP
       Dec 13, 2015
    @aabbccli 本来是这样打算的-。-
    initialdp
        7
    initialdp  
       Dec 13, 2015 via Android
    不一定是 ec2 的问题,也可能是对端限制了抓取。
    semicircle21
        8
    semicircle21  
       Dec 13, 2015
    关注一下磁盘 IO, IO 也有漏斗算法, 不在乎预算可以试一下 Provision 的 IOPS 看看有没有改善.
    itopidea
        9
    itopidea  
       Jan 6, 2016
    我也发现了,现在打开越来越慢啊 http://freebt.org/
    About     Help     Advertise     Blog     API     FAQ     Solana     3175 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 52ms UTC 14:01 PVG 22:01 LAX 07:01 JFK 10:01
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86