七牛 9 月 22 日详细事故说明 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
niuer
V2EX    云计算

七牛 9 月 22 日详细事故说明

  •  
  •   niuer 2015-09-22 14:00:16 +08:00 5926 次点击
    这是一个创建于 3680 天前的主题,其中的信息可能已经有所发展或是发生改变。

    尊敬的用户,您好!

    2015.9.22 早上 10 点 02 分,由于七牛的华东节点供应商机房违规操作,使得同城双机房同时出现网络访问故障,导致我们现有的高可用多机房互备热备方案失效,使得大量七牛用户受到影响,我们表示万分的歉意。特此给出详细的情况说明,整改措施以及赔偿方案。

    事故过程:

    9.22 早上 10 : 02 ,由于七牛的华东节点供应商机房违规操作,使得同城双机房同时出现网络访问故障,导致我们现有的高可用多机房互备中的热备方案失效,使得大量七牛用户受到影响该故障发生后。发现后,我们立即与机房协调,确认机房问题以及修复策略。同时开始通知客户并发出短信通知,以及微博和微信服务号通告事故(发送排队机制使得用户收到时间略有不同)。由于经过跟机房的沟通中获得准确修复时间,因此并未启动七牛的冷备容灾方案。经过协调处理,已于 11 : 25 全面恢复。

    针对事故,七牛将采取以下整改措施:

    同城双机房互备选择不同供应商,以及继续推进两地三中心互备方案,更高提升容灾能力。

    此外,根据七牛 SLA, ( SLA 入口: http://www.qiniu.com/about/sla ),我们将针对针对所有受此影响的七牛用户提供以下赔偿方案:

    1 、针对所有非合同用户(包含使用量在免费额度内的用户),按故障期间的平均消费的 100 倍赔偿七牛抵用券。

    2 、对合同客户,按照合同中所述进行赔偿。

    注:

    1 、故障时间为: 2015.9.22 10:02am 到 2015.9.22 11:25am 。

    2 、针对非合同用户的赔偿抵用券将于国庆节之前发放完毕。系统会自动充值到您的七牛账户,抵用券使用有效期为三年。

    最后,七牛再次向您道歉,我们要不断改善工作中的不足,提供开发者以更优秀的服务。

    46 条回复    2015-09-23 11:31:03 +08:00
    wy315700
        1
    wy315700  
       2015-09-22 14:01:48 +08:00
    不是挖掘机干的,,,
    tabris17
        2
    tabris17  
       2015-09-22 14:05:59 +08:00
    挖掘机心里是崩溃的
    fange01
        3
    fange01  
       2015-09-22 14:06:08 +08:00
    @wy315700 微博好像是说挖掘机。
    wzxjohn
        4
    wzxjohn  
       2015-09-22 14:11:55 +08:00
    然而并没有收到任何通知=。=
    Gandum
        5
    Gandum  
       2015-09-22 14:13:51 +08:00 via iPhone
    什么样的挖掘机能同时挖断两个地方的线路?
    iwege
        6
    iwege  
       2015-09-22 14:13:54 +08:00
    请问是否要用户自己上 V2EX 才能看到故障?手机绑定是用来催缴钱的么?
    liuchen9586
        7
    liuchen9586  
       2015-09-22 14:14:15 +08:00
    目测那机房的运维要收拾摊子滚蛋了
    ScotGu
        8
    ScotGu  
       2015-09-22 14:14:29 +08:00
    @wy315700
    @tabris17
    @fange01
    可能是 华东节点供应商机房违规违规使用挖掘机导致的。
    bingu
        9
    bingu  
       2015-09-22 14:16:12 +08:00
    xmoon
        10
    xmoon  
       2015-09-22 14:16:24 +08:00
    kslr
        11
    kslr  
       2015-09-22 14:39:23 +08:00
    上次你们也是说短信邮件通知在排队发送,但是上次的故障通知截至到现在我也没有收到。
    aapu
        12
    aapu  
       2015-09-22 14:44:39 +08:00
    “违规操作”规范还是很重要的
    embbnux
        13
    embbnux  
       2015-09-22 14:45:50 +08:00
    表示没收到任何通知
    xfspace
        14
    xfspace  
       2015-09-22 14:49:09 +08:00
    @bingu 骨干绝笔有冗余链路,没有冗余的骨干 我直播吃翔。
    webjin
        15
    webjin  
       2015-09-22 14:49:35 +08:00 via Android
    什么,内幕就是跟机房 idc 商价格谈不来,给断网了。运营商是不是北京天地祥云。
    webjin
        16
    webjin  
       2015-09-22 14:53:30 +08:00 via Android
    协调管理机房的老大,压低价格拿回扣, idc 商向电信拿资源也很贵。没什么利润,人家不愉快合作呗。呵呵
    webjin
        17
    webjin  
       2015-09-22 14:55:49 +08:00 via Android
    Idc 公司操作都是要客户授权的,不授权是不会操作的,欠费通知不缴费除外,直接断网,管你多大的 cdn 服务商
    webjin
        18
    webjin  
       2015-09-22 14:59:24 +08:00 via Android
    @xfspace 毛线骨干,七牛是到处各地找第三方 idc 机房合作,有些 idc 公司很小的。又不是直接向电信政企拿资源。
    bigtan
        19
    bigtan  
       2015-09-22 15:03:01 +08:00
    @webjin 七牛的 cdn 不是租的么,你是说中心文件存储服务器吗
    MeiganFang
        20
    MeiganFang  
       2015-09-22 15:03:10 +08:00
    @wzxjohn 同样没收到任何通知,而且还是标准合同账户!这赔偿方案也很模糊,就不能具体点么。
    webjin
        21
    webjin  
       2015-09-22 15:06:33 +08:00 via Android
    @bigtan 机房带宽,基础服务
    sorcerer
        22
    sorcerer  
       2015-09-22 15:08:08 +08:00 via iPhone
    @bingu 壮哉我大宁波机房 2333
    jdlau
        23
    jdlau  
       2015-09-22 15:11:29 +08:00 via Android
    通知用的飞鸽传书吗
    Pastsong
        24
    Pastsong  
       2015-09-22 15:12:37 +08:00
    七牛的这个公告写的很好啊,事故原因赔偿方式都写的很清楚,完全没有推脱责任的废话
    wangzhangwei
        25
    wangzhangwei  
       2015-09-22 15:28:24 +08:00
    很官方的解释!
    Felldeadbird
        26
    Felldeadbird  
       2015-09-22 15:51:25 +08:00
    我看部分人是收到,部分人没收到的。 是不是业务范围决定的?
    Oi0Ydz26h9NkGCIz
        27
    Oi0Ydz26h9NkGCIz  
       2015-09-22 16:06:07 +08:00
    感觉七牛还是一直比较诚恳的。
    quericy
        28
    quericy  
       2015-09-22 16:09:20 +08:00
    "同时开始通知客户并发出短信通知,以及微博和微信服务号通告事故"
    吐槽一下,为嘛一个都没收到....
    难道这个发送排队机制可以慢到故障都修复了还是没有排队到通知的地步么?
    cztchoice
        29
    cztchoice  
       2015-09-22 16:45:00 +08:00   1
    @quericy 我注册的普通账户,没有用的那种倒是收到了。。
    akring
        30
    akring  
       2015-09-22 17:05:32 +08:00
    @tabris17 中国黑客最高学府蓝翔开发出来的,最新物理攻击手段?
    bornichildren
        31
    bornichildren  
       2015-09-22 17:13:19 +08:00
    宁波收到了,指名道姓的说宁波地区网络故障。我还以为就宁波的出事了呢
    daniellu
        32
    daniellu  
       2015-09-22 18:48:21 +08:00
    同城 双机房 同供应商 这几个关键字 就够了啊
    居然不是独立供应商 居然不是异地 呵呵
    ppdg
        33
    ppdg  
       2015-09-22 20:12:16 +08:00
    100倍看起来够狠,原来是故障时间的100倍,这个噱头够大。
    kooze
        34
    kooze  
       2015-09-22 21:26:24 +08:00
    我以为蓝翔开学补考挖掘机了
    402645707
        35
    402645707  
       2015-09-22 21:29:03 +08:00
    想起违规操作就想起前段时间把隔壁小区交换机盒内插头拔了插大功率音响的广场舞大妈
    fredcc
        36
    fredcc  
       2015-09-22 21:33:39 +08:00
    大概我孤陋寡闻,一线城市的运营商一类机房,没听说过网络全挂的事故,环路冗余,网络设备冗余这都是起码的。只能说现在的云服务商,由于成本因素,选的机房都是。。。
    pubby
        37
    pubby  
       2015-09-22 21:33:40 +08:00
    并不详细,群众好奇的是机房干了什么
    cnnblike
        38
    cnnblike  
       2015-09-22 21:48:48 +08:00
    确实有诚意,但是作为不用 V2EX 的用户,我更好奇机房干了什么
    cnnblike
        39
    cnnblike  
       2015-09-22 21:48:57 +08:00
    typo,七牛
    ToysMall
        40
    ToysMall  
       2015-09-22 21:49:55 +08:00
    国内的云真心不靠谱,不靠谱,故障频发
    moosoome
        41
    moosoome  
       2015-09-22 21:56:41 +08:00
    还是蛮诚恳的
    techyan
        42
    techyan  
       2015-09-22 22:11:28 +08:00 via iPhone
    短信和邮件都收到了啊。。
    chromee
        43
    chromee  
       2015-09-22 23:00:00 +08:00 via Android
    我就注册了个账号什么服务都没用都收到短信了
    ibolee
        44
    ibolee  
       2015-09-23 09:48:32 +08:00
    七牛怎么老出问题?
    zixianlei
        45
    zixianlei  
       2015-09-23 11:12:20 +08:00
    请问为何你们审核绑定域名这么慢。我昨天申请绑定,现在还没定下来。。。 cilacila 你看看,谢谢
    vmskipper
        46
    vmskipper  
       2015-09-23 11:31:03 +08:00
    挖掘机技术是互联网安全领域的必修课程了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2653 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 35ms UTC 09:18 PVG 17:18 LAX 02:18 JFK 05:18
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86