分享一下自己身上出现过哪些重大线上事故

调对方接口，一次性拿了几百万条数据，把对方内存打爆了。不过我觉得责任不在我，对方没有评估数据量。

现网操作数据库，我把表的数据给删了

发帖没正文算不算 重大线上事故

一般都在数据库上

发通知消息，判断没做好，重复循环发了十多条给用户

前前司离职最后一天，一个销售来说要改单子的负责人，需要操作生产环境数据库（我知道不对，小公司这是常规操作）。我的 sql 里少写了个 where 条件差点把上万个单子的负责人都改成同一个人。sql 跑了几秒钟没结束，果断 ctrl+c 救回来了。虽然不是啥大事故，但是如果离职之前出事就非常尴尬。

挖矿发币，由于 xrp 协议上有小数和没小数的单位不一样，导致发多了，好像是 10000 倍

幂等颗粒度不够细，本来也没啥事的，碰上了几个巧合撞在一起。导致奖励重复发放，一晚上发了几百万出去

还好之前这部分其他同事也动过，他又正巧被裁了，就把锅给他背了

身上最大的事故就是甲状腺结节

项目上线当天收款金额少了 50,然后中午没吃饭写了补缴功能,2 天内补齐了

项目上线后做生产环境验证，验证后忘记删数据了，后面运行了一小段时间才发现，然后让我删数据。

删数据的时候忘记加 where 条件了，把全部数据都删除了。

当时发现这个问题的一瞬间真的感觉后背到后脑勺凉了一下。后面我花了一个晚上把所有数据恢复了。

前同事，同步用户信息的时候，将公司 500 多个人搞成离职，包含了多位领导。

公司代码混乱，本地测试必须注释一大堆代码

好几次没注意提交了一些测试代码，导致服务器有挂一小时的，有挂一夜的，有挂三天的。。

不过我觉得责任不在我，所有人都出过这个问题，老板自己不上测试服，也不给数据库之类的接口，导致本地只能删代码来启动

另外挂三天也是小事，过年设备故障挂了一星期+ 他自己也不知道。用户不知道跑多少了

线上排查问题，把 redis 的公共前缀给改了，DB 直接被打爆，业务中断了两小时四十五分钟。

不是我干的 之前公司有个私募两点四十买了 2288 万基金没买上,发现的时候来不及了 第二天涨了 4.6%

rm -rf *

@300 什么公司这么松弛

刚毕业的时候做的多店铺活动,很简单,单纯付款记录。
我分库了,然后技术又差。
给客户设置 cookie,代表那个店铺。
微信支付,没有 cookie,找了好久的 bug 。
最后... 傻傻的手写原生 sql 修复。
还有其他的...
三头两天的出 bug,项目被我搞废了,客户不愿意用了。

楼上有些看到都觉得恐怖

我好多年前的一个内存写飞（这是我现在喜欢 rust 的原因），当时后果蛮严重，上了微博热搜

rm /*

企业大数据应用，预聚合把一个 org 的数据算到别的 org 去了。

- rabbitmq 要删除队列，给运维的操作单里面写错了队列，所有设备上线的消息都漏掉了，还好是周末，影响不大
- kafka 的消息序列化器

@pigspy kafka 的消息序列化器写错，所有用于审计的消息全部发送失败

通知推送没有测试环境, 也没有文档和提醒, 然后给全网正式用户推送 test test test...

昨天帮老婆解压一个 7z 压缩包，我直接在命令行解压的，狗日的 7z 命令行工具，为什么 7z d 是删除压缩包，还没有二次确认！把老婆 80 个 G 的备份给删了。
明明 gzip -d 是解压的啊，我脑子坏了……

@kevan #21 +1

对接一个硬件项目，代码问题导致设备在客户测试现场坏掉了

楼主为什么不先分享，这是钓鱼整理好自己当自媒体发独食么

因为少传了一个参数，导致老板找投资人演示的时候，功能异常，被投资人说“你的想法不错，可是叫我怎么信任你们的技术”（老板口头转述）。

我好像只有实习的时候，把 db 的数据全部回滚了一次。我觉得我是个杀伐果断的人，看到不顺眼的都直接删，很幸运一直没出过啥大事
我印象最深刻的还是我之前一同事，把 hdfs 的数据直接从我们项目的根目录 delete ，删了 2 个 p 的数据。当时还很早，hdfs 能力不完善，内部搞了个垃圾回收，2 个 P 直接塞爆了垃圾箱，就被自动清理了。晚上直接拉起了几十号人进行数据恢复

上传照片没做照片名字的处理，导致很多人上传后名字都一样，根本分不清是谁的

忘记取消注释测试代码，大奖被多抽出去十几个，损失几万块

@falsemask #1 莫名想笑
我没责任 责任都是别人的

添加服务器上访问人员时候，禁用了 root 用户。导致所有人都登录不上了。后来服务器直接还原了。。。。

评论有些说是数据库要么删了要么就是多条目错误变更，想问你们的是操作之前不备份的吗？数据库备份是麻烦还是时间太长？如果操作前备份一下是不是应该没什么担心的？（外行问）

前前司，一个给客户分账功能，我这边是调支付模块的分账接口，然后接口一直给我返回分账失败，但是实际他那边是分账成功了的，我这边又做了重试机制，然后一笔账分了 15 次，后面把公司那个账户的钱都分完了，不过我觉得责任不在我，明明分账成功，他那边给我回复失败，导致我这边一直以为分账失败走重新分账逻辑。

定时任务发积分，运维没跟我讲每个机器上都在跑定时任务，导致发了两倍的积分

涉密电脑接了非密的外设，这个算嘛

不是我 旁边组重复出款 1300 万最后只追回 700w

drop 掉了系统的用户表，1 分钟之后发现了，搞回来了

@wxm 只追回 700w 为啥？

商场收银系统允许部分商户收现金入账，有个憨憨店员把顾客手机号输成金额了，没做金额校验限制，当天全店营收十几个亿。晚上十一点还自动化当日报表推送给了 boss 。

之前在安全公司上班，本来发拦截特定流满软件的规则，结果发成了拦截*.exe 的程序，还是直接发的全网，发完我就去吃饭去了。

还好后台有防误报程序，很快这个规则就被防误报拦截，强制转人工二次审核。

吃完饭回来，我默默修改了规则，然后重新发了出去（至今无人发现）

某次都下班到家了突然找我改需求，没办法在家搞了，但是忘记上传 git 了，第二天发版发的还是旧版本

if else 搞错了，导致奖品没有库存校验了

超发几千上万单

在生产库批量补数据，写了个 py 脚本，写的时候习惯性以为是本地库优化速度 commit 写循环外面了，一下更新了半张表把业务库跑死锁了。运维紧急重启，结果赶上系统盘本来就快满了，直接被这次日志填满，机器起不来了。最后重装了系统盘。数据没丢，但是业务停了 3 小时。

发了一个 app ，只要是更新安装的 100% crash 。

21 年，小程序，依赖微信云开发的服务，因为
1.他们套餐变更没通知；
2. 加上某天活动冲量，瞬时流量打爆。
3.接入方案失败重试滚雪球导致雪崩。
结果：午高峰崩了 1 小时，损失 1kw ，直接 P0 。庆幸三方有锅，不然就祭天了。

给省局 xx 科的甲方 发了 1600 条短信

在前司，用 python 调 shell 重启 xx-* 机器，一个 list[str] 传成 str ，然后就把测试环境所有机器都同时重启了，还好不是线上

@Smileh 没毛病啊，自己的接口自己负责，只要能调通就要做判断；玩一个给个 getById 只传 id 字段，结果返回 100w 条数据，你说这算谁的？

我把技术支持配了两天的库给删了

@zhangyoucaiyo boss 高兴坏了吧

推广短信,本地多线程发送,忘记加" [] "

@chen11 +1 后面从 binglog 恢复

手滑把线上游戏全关了。。

不算线上事故，但是 Excel 公式计算时漏检查某两列的一致性，导致重大活动对外发布的数据跟真实情况不一致。后来受影响的用户发现之后紧急撤回，修正后重新发布。

我是做工业上位机控制的，写出个 BUG ，直接把生产机器给撞坏了，宕机好几个小时
客户是按分钟罚钱的。具体罚多少，商务讨价还价谈下多少就不知道了

@loryyang 看到“杀伐果断”喷了，哈哈哈

8 年前吧，有个打款逻辑的问题，多发了不少钱给阿三。

@swananan 有点好奇是哪件事

08 年左右，把一天内所有商家传的库存全给删了，不记得具体量了，应该是不到 100 家，不到 100w 条的库存数据。
然后挨个打电话，要库存，恢复数据，不知道弄了多少天，反正差点累死。

刚出社会删过生产环境数据库

改进一个老函数，nodejs 0.xx ，处理 IP 地址时有 bug ，特定 IP 结果不正确。

还真没有

实习的时候，直接操作线上数据库，select * from table; 直接把数据库干死机了，直接 P0.

重复结算，最后损失 2 个亿

@SoulSleep 目前为止本贴损失最大的

crontab -e 想改定时任务，敲成了-r ，crontab 真是逆天的设计，键盘 ER 连着的

@zhoudaiyu 不过没事，都是没什么卵用的定时任务

都应该反思以上事故如果没有 996 是不是能避免

@SoulSleep 厉害了，想听最终结果

支付，一个亿退款卡了三天

哎 头大 还是经典的 DELETE 忘记加 WHERE 还是 LIMIT 不记得是哪个了 orz

@evan1 我实习时 mentor 让我写 SQL 先写 where 条件

每一次这种生产上的篓子, 背后都有各种论坛里的大聪明洋洋得意的说, 世界果然是个大草台班子

@SoulSleep 不会是友商吧

楼上不少都刑啊...

@rocmax 这个太经常了，where 没弄好，一下就 update 好多 ....

三方公司把我司 vsphere 的光存储格式化了，全部虚机都没了，幸亏我每天有备份，不过恢复那些虚机也花了一周的时间。

事故？不存在的，锅都是别人的。

当年在某地上房屋登记系统，上线第一天研发反馈有个 BUG 需要还原测试数据库验证一下。
结果驻场工程师把正式环境数据还原了，还无法恢复。
还好上线第一天业务不多，一群对着实体材料手工操作业务到凌晨 3 点才把业务数据恢复。

ios 提审提了一个预发布的环境 ，而且还不能回退版本，加急提了一个，这个问题持续了一天

项目下线，给会员退年费。按使用天数退，搞反了，用得多的退的多，用的少的退的少。发现后，又按正确比例又退了一次 幸好是小项目，瞬间损失三四千吧。心都要跳出来了，老板也好，平稳的说没事再退一次吧，也没扣我工资

1. 第一家实习公司小公司，帮领导发群体邮件，邮件内容是详见附件，结果妹加附件就发出去了，100 多人；
2. 第二家公司，算是半实习，有线上库权限，跑数据的时候没注意是连的生产还是测试库，垃圾数据跑了 100 多 w 条；
3.第三家公司，算正经开发了，跑接口又没注意是生产，点完发送的时候去测试环境看日志，一看没日志回去看接口地址，一看是线上地址，瞬间后背发凉，用了一个晚上把数据跑回去了；
4.还是第三家公司，半夜发新版本(传统艺能)，都发完准备回去了，我还有最后一项线上数据要处理，写了个 sql 准备跑，担心自己脑袋迷糊还让同事帮忙看一下 sql 写的对不对，结果他脑子也是迷糊的。一条 sql 干废了 500 多 w 数据，5 6 个人想尽各种办法花了一整晚事件都恢复不了，最后打电话个 dba 做数据回退；
5.想不起来了，应该还有。。。。。。

@frankilla 因为很多都是手动操作，属于不规范 操作，正确的行为应该是人写脚本，由脚本执行，出问题了也好回退。所以说世界确实是个草台班子

上家公司是做 HR 系统的，我们这个系统的定时任务可以直接在系统写 Python 代码配置，可以直接操作数据库，有一次给某个客户的系统更新的时候，因为上线的时候要执行一个定时任务批量更新员工数据，具体忘了 SQL 怎么写的了，反正把员工数据都更新错了，当时心里都凉半截了，大半夜客户联系他们的运维把备份的数据库恢复了，客户脾气还挺好的，也没骂我

又一次物理机断电了，大量虚机宕机了，恢复的时候漏了一台物理机的虚机，业务高峰期应用不可用了

在客户现场工作站手贱用扫毒工具扫了下压缩包，给网安爆了几千条中毒告警（

看到你们的，我觉得我的很小儿科。
逻辑漏洞，导致下发给仓库很多重复订单，吊牌金额也就 2 万多吧，好在后面大部分都追回来了

没人提线上一分钱？

我心态不好，线上报个错我都能难受的睡不着

刚毕业时 .env 没搞 ignore ，为了在家学习项目， 特意推了 github ， 最巧的是 private 库满了，我新建了个 public 库，第二天还被集团扫到了，通报批评，涉及密钥的项目来来回回弄了一个星期才还完。 至今都没懂，集团是怎么扫到的。

运营, 有个客户的名字录入错了, 需要后台改一下.
改完看一眼, 嘿, 好多重名的用户诶.
唉? 怎么所有用户都叫这个名字.

服务迁移后有个异常没发现，某体育比赛决赛直播崩了几分钟，直接上热搜了

@falsemask 我想起来了前几年，去电厂一个项目，调用对方的数据，然后说我们连接后没有关闭连接，把对方服务调崩掉了。

我前端。只记得实习时，toc 有个页面描述没做条件判断然后上线，导致只有 key 但是没 value ，被客诉时，mentor 叹的那一口气（没有说 mentor 不好的意思，只是觉得自己写代码好菜）

之前做了个双 Boss 战的活动，普通玩家比超 R 输出还高，名次还高。
原因是 Boss 忘记配置防魅惑了，普通玩家有一部分在用带魅惑技能的宝宝，然后两个 boss 被魅惑了对打，伤害算成玩家的。

不出这个事故，整个团队估计忘记还有魅惑这个机制了。

AWS Lambda 没注意消耗 花了 20w 刀