在腾讯云 CDN 上服务被恶意攻击跑了 2T 流量 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
请用平和的语言准确描述你所遇到的问题
厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
neoFelhz
V2EX    全球工单系统

在腾讯云 CDN 上服务被恶意攻击跑了 2T 流量

  neoFelhz 2017-09-14 23:27:57 +08:00 18037 次点击
这是一个创建于 2951 天前的主题,其中的信息可能已经有所发展或是发生改变。

主要问题是,我在腾讯云 CDN 后台是设置了 QPS 限制为 100 (在发现攻击以后将 QPS 设置为 10 )。 检查了日志,攻击者主要使用 Vutlr 的肉鸡发动攻击,攻击者 IP 数量不超过 10 个,但是在遭受攻击的 1 小时之内攻击者发起了 4000 万次请求。简单的计算都能知道,这绝对远远不止 100 QPS。也就是说,腾讯云后台的 IP 访问限频配置 完全形同虚设。 所以,我想确切了解一下,腾讯云 CDN 的 IP 访问限频配置 是否真的有效,是否真的能够抵御恶意刷流量的 CC 攻击。如果的确是腾讯云 CDN 没有抵抗 CC 攻击的能力、或者是技术故障,腾讯云客服给我报出的 690 元费用,我理应获得 50% 到 60% 的费用减免。

顺便说一句,腾讯云后台工单日常只会回复 您好,已经反馈后台,有新进展会工单反馈您,请您耐心等候。 。然而并没有给我有效的反馈,也没有确切告诉我腾讯云 CDN 节点上是否对 CC 攻击进行了拦截。

腾讯云客服甚至连是我接入的哪个域名受到了攻击都无法确定。。。

第 1 条附言    2017-09-15 00:01:29 +08:00
攻击者的几个 IP,其中部分购买了 Vutlr 高防。
45.76.232.143
45.76.232.146
45.63.92.168
45.32.95.61
45.63.124.112
45.76.147.80
第 2 条附言    2017-09-15 00:40:28 +08:00
假设我自己没有做任何 QPS 限制,那么是我自认倒霉,我也心安理得付 690 块钱。

实际上就是我之前就考虑了我可能遭遇 CC,提前设置了 100QPS。
当攻击发生十分钟以后,我甚至将 QPS 阈值降到了 10,但是攻击丝毫没有得到缓解。
直到攻击一小时后腾讯云放出上一小时的日志,我拉黑了六个 B 段 IP 才结束了攻击。

我在腾讯云后台的工单中,腾讯云客服和工程师一直支支吾吾和搪塞,拒绝告诉我他们节点关于 QPS 拦截相关的事实。

<-- 以上摘抄修改至我在 #5 的回复 -->

我问了问其它使用腾讯云 CDN 的人,他们也反应的确腾讯云的 QPS 限制就是形同虚设、毫无作用。

我认为,我要求费用减免丝毫不过分,毕竟这直接是腾讯云 CDN 节点的技术问题。我需要腾讯云专门的工程师给我一个令人信服的答案。
第 3 条附言    2017-09-15 15:24:58 +08:00
在 QQ 上和腾讯云客服上交流了一下,问题解决了。
总体来说腾讯云客服这一次的态度挺好的,他们的说法是在控制台的说明不明确导致了误解,给予了我一定量的补偿。我也同意这样的处置结果。
所以,大家可以散了。
52 条回复    2018-03-06 01:37:05 +08:00
mokeyjay
    1
mokeyjay  
   2017-09-15 00:02:24 +08:00
呜哇,心疼~
liuminghao233
    2
liuminghao233  
   2017-09-15 00:04:19 +08:00 via iPhone   1
计流量的 cdn 被 cc 肯定要吃亏的
UnisandK
    3
UnisandK  
   2017-09-15 00:14:03 +08:00
既然设置了频率限制还被刷了,这个腾讯云是该担一部分责任了,关注一下
Xrong
    4
Xrong  
   2017-09-15 00:16:03 +08:00
老铁直接上百度云加速吧,对比下价格和服务你会发现真是国内良心厂家了。。。
neoFelhz
    5
neoFelhz  
OP
   2017-09-15 00:20:35 +08:00 via Android/span>
@UnisandK 假设我自己没有做任何 QPS 限制,那么是我自认倒霉,我也心安理得付 690 块钱。

实际上就是我之前就考虑了我可能遭遇 CC,提前设置了 100QPS。
当攻击发生十分钟以后,我甚至将 QPS 阈值降到了 10,但是攻击丝毫没有得到缓解。
直到攻击一小时后腾讯云放出上一小时的日志,我拉黑了六个 B 段 IP 才结束了攻击。

我在腾讯云后台的工单中,腾讯云客服和工程师一直支支吾吾和搪塞,拒绝告诉我他们节点关于 QPS 拦截相关的事实。

我认为,我要求 60% 的费用减免丝毫不过分,毕竟这很可能是腾讯云 CDN 节点的技术问题。
0ZXYDDu796nVCFxq
    6
0ZXYDDu796nVCFxq  
   2017-09-15 00:24:50 +08:00 via iPhone   1
QPS 限制应该只能做到单机 /单集群吧,或者单机根据来源 IP 限制
全网节点怎么限制?需要实时共享全国 /全球服务器请求信息再决定是否响应请求,这除非有黑科技

所以如果对所有 IP 进行攻击,并不是全网 100 QPS
另外如果网站有较大的文件,QPS 作用不大
Zohar
    7
Zohar  
   2017-09-15 00:34:09 +08:00 via Android
心疼(Д
neoFelhz
    8
neoFelhz  
OP
   2017-09-15 00:36:39 +08:00 via Android   4
@gstqc 他攻击的文件大小只有 92kb,肉鸡 IP 只有 10 个不到,其中大部分我都 append 了。
攻击者同时攻击了我绑定在又拍云上的另一个域名,但是又拍云只跑了 22G 流量攻击请求就被 QPS 阈值拦截了。
这不是黑科技,这是能实现的。
atc
    9
atc  
   2017-09-15 00:46:30 +08:00
心疼 lz
在别的地方也看到过企鹅云因攻击产生高额账单的事情,事实证明它技术就是不行,限制根本没卵用
hundan
    10
hundan  
   2017-09-15 00:48:17 +08:00 via Android
我得说,我测试的时候是有效的。
之前我搭建了一个 hexo 放在腾讯云托管,加 cdn,qps 开启调到 10。然后,页面成功出错,在一秒内加载第十一个医院的时候出现了加载失败的情况,当时导致页面空白了。
因此我觉得,还是有点用的。
hundan
    11
hundan  
   2017-09-15 00:49:17 +08:00 via Android
医院→资源
xcold
    12
xcold  
   2017-09-15 00:50:48 +08:00
服务器层面做限流意义太小了~还是得靠机房和网络出口
MangozZ
    13
MangozZ  
   2017-09-15 01:06:43 +08:00
流量计费 690 就不错了。。。
如果是宽带计费,分分钟彪到 9000.

https://www.qcloud.com/document/product/228/562
[DDoS 攻击或 CC 攻击造成带宽 /流量剧增时,10Gbps 以上部分予以免除。]
10Gbps=¥ 9000
togodo
    14
togodo  
   2017-09-15 08:19:58 +08:00
腾讯一直是这个吊样子
whx20202
    15
whx20202  
   2017-09-15 09:12:19 +08:00
又拍云就是很给力啊 QOS 这块做的很好,我当时建站也考虑到了,然后就在阿里云提工单,但是阿里云的功能并不完善,最后选择了又拍云

又拍云还专门打电话我问是不是被攻击过,为何看重这点选择他们
metorm
    16
metorm  
   2017-09-15 09:15:55 +08:00 via Android
心疼……
neoFelhz
    17
neoFelhz  
OP
   2017-09-15 09:18:09 +08:00 via Android
@whx20202 #15
没错。我的另一个绑定在又拍云的域名昨天晚些时候也被 CC 攻击了,HTTPS 请求数 1700W,流量 64G,然而这部分攻击的流量根本没有算在我的账单里面。
tencentcloud
    18
tencentcloud  
   2017-09-15 09:21:06 +08:00
您好,您反映的问题正在为您核实跟进,请您留意稍后客服人员联系
tencentcloud
    19
tencentcloud  
   2017-09-15 09:21:47 +08:00
@neoFelhz 您好,您反映的问题正在为您核实跟进,请您留意稍后客服人员联系
chairuosen
    20
chairuosen  
   2017-09-15 09:24:07 +08:00
看开一点,起码不是 800PB
Norie
    21
Norie  
   2017-09-15 09:33:19 +08:00   2
估计你没有充云钻,开 SVIP 吧
woshinide300yuan
    22
woshinide300yuan  
   2017-09-15 09:53:06 +08:00
开个每日上限能死吗~ 各云 CDN 厂家都没有这个设定!
coolcoffee
    23
coolcoffee  
   2017-09-15 10:14:18 +08:00
@woshinide300yuan 会。 不赚钱,公司就死了
18725769609
    24
18725769609  
   2017-09-15 10:26:59 +08:00 via Android
一般来说被打都是立刻关闭 CDN 封堵 IP 楼主以后自己长点心吧 ,这种问题腾讯云应该也会给你解决 耐心等待吧
TestSmirk
    25
TestSmirk  
   2017-09-15 10:37:44 +08:00
吓得我赶紧看了一下我的 cdn,目前还稳定在 10mb 每天.
youxiachai
    26
youxiachai  
   2017-09-15 10:38:54 +08:00
又拍云实力抢镜...
kY8mbXW833Lu28xn
    27
kY8mbXW833Lu28xn  
   2017-09-15 10:45:44 +08:00
腾讯云不是 10Gbps 以上部分予以免除嘛,耐心等待不就好了,在这里发这些有什么用,又不是不给处理,你来讨个公道什么的。在说了,处理问题本来就需要时间,又不是神。
wzh015
    28
wzh015  
   2017-09-15 10:48:31 +08:00
对于分布式 CDN 攻击现在大部分厂商及服务商都是无解的,一堆包扔过来,你知道那个是正常用户,那个是攻击包。道高一尺魔高一丈,有啥办法。而且感觉又拍云才是是楼主想表达的?
tanm
    29
tanm  
   2017-09-15 10:53:37 +08:00
设置了还被刷,是因为攻击是瞬间的,服务商 5 分钟同步一次数据,那很大可能就是会有超出的,这个目前所有厂商好像都是一样计算的,最后要以实际发生的攻击计费。又拍云攻击的流量没有算在你的账单里面,会不会是 T+1 计费?另外告诉你个不需要提交工单的 ,网宿 讨论组喊话 需要了解可以交流下。。。
neoFelhz
    30
neoFelhz  
OP
   2017-09-15 11:00:58 +08:00 via Android
@wzh015 #28 我怀疑你语文阅读没有过关。
我说了,攻击者只有 10 个 IP,一小时创造了 4000w 请求,远远超过了 100QPS。
腾讯云的日志是第二小时提供上一小时的日志的,所以我不得不在第二小时等日志出了才一口气拉黑了 6 个段结束了攻击。
wibile
    31
wibile  
   2017-09-15 11:08:55 +08:00
@wzh015 理解力感人。。。。
wzh015
    32
wzh015  
   2017-09-15 11:11:31 +08:00
@neoFelhz 加了 CDN 能服务器能查看实时的访问 IP 吗?这个我不清楚诶???所以你是怪腾讯云提供的访问日志晚了?你是需要实时提供访问 ip 日志的?
youxiachai
    33
youxiachai  
   2017-09-15 11:15:33 +08:00
@wzh015 上面有个又拍云成功案例...就是因为又拍云这样的小厂都能搞定..反而..腾讯这样大厂搞不定...lz 觉得说不过去..
0ZXYDDu796nVCFxq
    34
0ZXYDDu796nVCFxq  
   2017-09-15 11:16:49 +08:00
@neoFelhz 其实攻击可能是这样发生的:
攻击者先抓了 CDN 全部的 IP
然后对所有 IP 发起请求,降低单个目标 IP 的请求频率
这样每个来源 IP 和目标 IP 的 QPS 只需要十来个,都能达到一小时 4000 万
比如 CDN 有 100 个 IP,那 40000000 / 100 个 CDN IP / 3600 秒 / 10 个攻击 IP = 11.1 QPS

主要的问题在于 QPS 限制的逻辑和架构
kY8mbXW833Lu28xn
    35
kY8mbXW833Lu28xn  
   2017-09-15 11:17:33 +08:00
@youxiachai 也就是说又拍云才是楼主想要说的重点?
youxiachai
    36
youxiachai  
   2017-09-15 11:18:34 +08:00
@1024MB 因为上面有人说..这玩意技术上实现不了...lz 才举了又拍云这个例子...
8355
    37
8355  
   2017-09-15 11:36:57 +08:00
我们挂 app 下载的 OSS 高峰一个月也就 2T 多一点 还是安卓推广以及更新频繁的时候主要下载 app 出的流量
贼恐怖哇
neoFelhz
    38
neoFelhz  
OP
   2017-09-15 11:57:25 +08:00
@gstqc #33 腾讯云如果不是大客户,分配到的节点都很可怜的。
而且,我在后台检查了 CDN 后台的访客来源和 DNS 上的解析记录,他们都是通过正常 CNAME 解析拿到 IP 后发动攻击的。
talebook
    39
talebook  
   2017-09-15 12:06:39 +08:00   1
作为腾讯云 CDN 团队研发人员,我来讲下:

1、腾讯云 CDN 的 IP 限频就是单 IP 单节点的 QPS 限制,不是全网的,分布式攻击的确会被刷流量。我们在 wiki 文档中有详细说明 https://www.qcloud.com/document/product/228/6420
2、我们检查了了后台的配置记录,基本上是 QPS 调整后,17:30 开始攻击流量就被限制住了(表现为 514 飙涨,200 剧降,流量剧降)

PS:我们之所以不做全局唯一 QPS 的限制,产品的考虑是:攻击经常是发生在单个 IP 的,分布式的限制能够让其他不被攻击的节点继续正常服务。全局 QPS 我们也是能做(实际上某些客户就是在用了),但是基于产品策略的考虑,我们没有公开出来。

PPS:我们控制台上的确没有做好引导提示,正在让前端小哥发版本修改了;我们尝试电话联系楼主,一直没打通电话。麻烦请楼主私信我。

@neoFelhz
neoFelhz
    40
neoFelhz  
OP
   2017-09-15 12:18:56 +08:00
@talebook #38 我已经在腾讯云工单上说明了可以在 11:45 联系我,或者可以通过 QQ 和我联系。
zjlin1984
    41
zjlin1984  
   2017-09-15 12:31:39 +08:00
路过
techeek
    42
techeek  
   2017-09-15 12:35:29 +08:00
刚刚细心看了下官方的文档,结合楼主的问题,得出如下结论,不吹不黑。
1、企鹅家(腾讯云)的 CDN 的 IP 限频是单 IP 单节点 QPS 限制,不是全网的,分布式攻击肯定会被刷流量。
2、100Qps 改成 10Qps 配置生效就需要时间,不是马上就生效的。
3、配置有没有帮助防护攻击,可以拉日志看下 514 数量,就知道有没有效。
个人见解,如有不对,希望各位提出。
Genteure
    43
Genteure  
   2017-09-15 12:39:57 +08:00
@talebook #39 产品的考虑是:攻击经常是发生在单个 IP 的,分布式的限制能够让其他不被攻击的节点继续正常服务。

这句话没有太理解。为什么全局限制会导致单个 IP 收到攻击时影响其他节点呢?
一个(请求者的) IP 在已经对 A 节点发起攻击的情况下,B 节点就算拒绝掉同 IP 来的请求也无所谓的吧?完全不需要考虑让 B 节点在这种情况下正常服务该 IP 发来的请求。
talebook
    44
talebook  
   2017-09-15 13:14:06 +08:00 via iPhone
@Genteure QPS 不是按客户端 client_ip 统计的。

全局 QPS 限制是指,黑客攻击 A 节点,触发 QPS 限制后,如果有正常用户访问没被攻击的 B 节点,那么依旧会被限制住。

我们现在提供的是单节点单 IP 维度的 QPS,也就是说 A B 节点是独立统计 QPS 的,黑客攻击 A 节点,触发 QPS 限制后;如果有正常用户访问没被攻击的 B 节点,会能继续访问成功。
Genteure
    45
Genteure  
   2017-09-15 13:42:13 +08:00
@talebook #44
所以是假设设置了 10 QPS 的限制
用户 A ( IP A ) 一秒访问了 10 次
用户 B ( IP B ) 同一秒访问同一个节点就会被限制
这样的?
emmmmmm......

那你们文档上写的可是
“通过对每一个 IP 在每一个节点每一秒钟访问次数进行限制”( https://www.qcloud.com/document/product/228/6420
oneoo
    46
oneoo  
   2017-09-15 13:42:28 +08:00   1
提供单节点单 IP 唯独的 QPS 控制,是技术难度和实现成本都最低的方式。其实能有得提供也不错了,普通厂商连这个都没

而又拍提供的是单节点内 QPS 控制,在节点内使用共享计数器来进行统计的,实现难度和成本都高一些。当然跨节点,实现全局 QPS 控制我们在努力开发中,相信很快能提供给大家使用。



这点事没必要绕来绕去的,多点真诚~
7DLNU56W
    47
7DLNU56W  
   2017-09-15 14:21:47 +08:00
被攻击了是你自己的事呀,另外人家明明有带宽封顶的配置,为啥不去设置啊?且我记得 DDoS 或 CC 攻击造成带宽 /流量剧增时 10Gbps 以上的部分可以免除呀!
neoFelhz
    48
neoFelhz  
OP
   2017-09-15 15:11:11 +08:00 via Android
@7DLNU56W #46
站着说话不腰疼?我后端还要不要了?直接把静态资源存放的源站服务器炸掉? CDN 分发静态文件本来就是动静分离降低源站负载,剥离源站多于服务的。

没看图?攻击者峰值 10.82Gbps,我能免多少?

已经 block。
Felldeadbird
    49
Felldeadbird  
   2017-09-15 17:16:00 +08:00
2TB 流量,楼主应该是遇到同行打压吧?至少说明站点有一定内容流量啊。
不过事情解决就好好事情
Mitt
    50
Mitt  
   2017-09-18 13:41:41 +08:00
感觉这楼可以 block 掉三四个人
xinxin9527
    51
xinxin9527  
   2017-09-18 14:29:48 +08:00
CDN 恶意跑了的流量要是可以退就很人性化了,毕竟这是 CDN。
相对来说,使用的加速乐 CDN 还是不错的,价格相对还是能接受。
1265578519
    52
1265578519  
   2018-03-06 01:37:05 +08:00
2TB,跑路吧
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5483 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 27ms UTC 07:39 PVG 15:39 LAX 00:39 JFK 03:39
Do have faith in what you're doing.
ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86