刚才又玩坏了自建的部署系统……V2EX 的猿们说说你们都搞坏过生产环境的啥玩意? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
realpg
0.01D
V2EX    程序员

刚才又玩坏了自建的部署系统……V2EX 的猿们说说你们都搞坏过生产环境的啥玩意?

  •  
  •   realpg
    PRO
    realpg 2015-08-05 19:27:27 +08:00 7077 次点击
    这是一个创建于 3723 天前的主题,其中的信息可能已经有所发展或是发生改变。
    然后如果是公司的,被罚了多少?说出来让大家开心开心……

    某楼层的事儿如果你也干过,请果断给个感谢……
    81 条回复    2015-08-11 11:45:10 +08:00
    zhicheng
        1
    zhicheng  
       2015-08-05 19:29:31 +08:00 via Android   1
    曾经的同事SQL更新管理员密码忘记加 where 。
    realpg
        2
    realpg  
    OP
    PRO
       2015-08-05 19:32:47 +08:00
    我先扔个砖头,各位有玉的赶紧朝我扔过来啊

    sudo rm -rf *
    然后突然发现工作目录不对……
    unique
        3
    unique  
       2015-08-05 19:32:52 +08:00 via Android
    把配置文件删除过
    ZeoKarl
        4
    ZeoKarl  
       2015-08-05 19:39:21 +08:00
    删除/boot目录下的所有文件
    lujiajing1126
        5
    lujiajing1126  
       2015-08-05 19:41:40 +08:00 via Android
    居然还有部署系统
    wbolor
        6
    wbolor  
       2015-08-05 19:44:16 +08:00
    数据库update忘记加where子句。。。。
    yylzcom
        7
    yylzcom  
       2015-08-05 19:45:54 +08:00   1
    在服务器上进行了这么一个操作
    “sudo ifconfig wlan0 up”

    没错,没有其它能登录到服务器的途径了…… 不过幸好是我自己家里的服务器,接上键盘显示器就好了
    realpg
        8
    realpg  
    OP
    PRO
       2015-08-05 19:50:50 +08:00
    @lujiajing1126
    自己摆弄的服务器太多,自己做的小程序分布在七八十台乱七八糟的服务器上,还有一些收钱的基础运维的LNMP啥的服务器,所以自己搞了一个小的公网上的部署系统,连着版本控制,连着各个机器之间互相备份数据等等
    因为自己做自己用,所以有很多限制不严的地方,自己都知道的坑,结果一不留神忘了……就坑了……
    itommy
        9
    itommy  
       2015-08-05 19:52:05 +08:00   3
    写 sql 语句我必须先加好 limit, 跑了确认了再把 limit 去了
    miaotaizi
        10
    miaotaizi  
       2015-08-05 19:57:29 +08:00
    rm -rf ./
    然后发现自己是在root目录里..........
    lilydjwg
        11
    lilydjwg  
       2015-08-05 19:59:17 +08:00
    @itommy 看这里的 screencast,很棒的方案:在 Vim 里写好 SQL,开事务,最后一句写 ABORT,tmux 右边 pane 里看效果,确认没问题之后再改成 COMMIT。
    lilydjwg
        12
    lilydjwg  
       2015-08-05 20:06:49 +08:00
    @itommy 啊链接忘记了: http://entrproject.org/
    ming2050
        13
    ming2050  
       2015-08-05 20:08:08 +08:00 via Android
    rm -rf / 这个命令最happy
    typcn
        14
    typcn  
       2015-08-05 20:09:44 +08:00   1
    一个小站,VPS硬盘满了,看了看 mysql 日志占了很多空间,就 rm -rf mysql-bin * 注意空格。。。
    chromie
        15
    chromie  
       2015-08-05 20:11:23 +08:00
    十年前 托管服务器在电信机房,装防火墙忘了开3389端口
    idamien
        16
    idamien  
       2015-08-05 20:21:17 +08:00
    国家航天级别项目,以上情况均未发生过
    des
        17
    des  
       2015-08-05 20:37:18 +08:00 via Android
    chmod 777 /home -R
    itommy
        18
    itommy  
       2015-08-05 22:10:05 +08:00
    @lilydjwg :thumbsup: 谢 lily 酱

    @idamien 必须不能发生啊
    realpg
        19
    realpg  
    OP
    PRO
       2015-08-05 22:17:45 +08:00
    刚修好部署系统……回来回复

    @chromie 远程系统装防火墙,尤其是windows系统预料中大坑。不过windows其实不用一般防火墙最好,系统的TCP/IP筛选以及应用程序套框就足够了……win7以及对应的server版以后的windows防火墙也可用

    @typcn 你这个当前目录显然是MySQL binlog 目录 当前目录的*影响不大吧


    @mringg 这个真没玩过

    @yylzcom 没领会这个为啥会断网

    @idamien 好高大上,你们招人么,要不要总会搞坏各种系统的……为你们增添点乐趣
    typcn
        20
    typcn  
       2015-08-05 22:18:14 +08:00
    @realpg 然而。。。binlog 和数据在一个文件夹。。
    ren2881971
        21
    ren2881971  
       2015-08-05 22:19:53 +08:00
    shutdown oracle
    结果卡在那里 4个小时不动。。 被运维的喷 不敢吱声。
    从那以后 不该我碰的 绝对不碰。。
    yylzcom
        22
    yylzcom  
       2015-08-05 22:50:40 +08:00
    @realpg 只有一个网卡,我SSH上去的把网卡禁用了,自然就断网了
    不好理解的话可以考虑在自己VPS上试试,不过估计要把wlan0改成eth0 (反正一般都有console可以应急)
    realpg
        23
    realpg  
    OP
    PRO
       2015-08-05 22:53:15 +08:00
    @yylzcom
    你确定你这是禁用网卡的命令?我学历低你别骗我……
    scys
        24
    scys  
       2015-08-05 22:59:58 +08:00   1
    负责核心机房的时候,做错路由,直接让3万人无法上网超过10分钟
    yylzcom
        25
    yylzcom  
       2015-08-05 23:02:35 +08:00
    @realpg 应该是down, 打成up了
    GeekTest
        26
    GeekTest  
       2015-08-05 23:03:30 +08:00 via Android
    @scys 23333333你算算要赔偿多少钱
    imyip
        27
    imyip  
       2015-08-05 23:06:14 +08:00 via Android
    数据库update忘记加where 然后找了半天 甚至认为服务器是不是坏了
    rming
        28
    rming  
       2015-08-05 23:12:49 +08:00
    @ren2881971 重启redis 差不多的效果……
    rming
        29
    rming  
       2015-08-05 23:13:42 +08:00
    @imyip 一定记得加 limit = =、
    scys
        30
    scys  
       2015-08-05 23:23:17 +08:00
    @GeekTest 其实就零星一点投诉。。。。真心是零星一点点
    zonghua
        31
    zonghua  
       2015-08-05 23:24:27 +08:00
    安装了未完工,完全是八阿哥的系统给别人用。
    ren2881971
        32
    ren2881971  
       2015-08-05 23:41:23 +08:00
    @rming 在之前我经常 重启oracle~ 之后我再也不敢碰了 有心理阴影了。。
    hippoboy
        33
    hippoboy  
       2015-08-06 00:14:53 +08:00 via Android
    清空过一张很大的表,刚入行用navicat的时候,经理没生气,只是说了句,这个习惯不好。很感谢,从此清表必须备份。
    orvice
        34
    orvice  
       2015-08-06 00:17:42 +08:00
    chmod -R 755 /
    flowfire
        35
    flowfire  
       2015-08-06 01:11:41 +08:00
    @mringg
    这个貌似基本上都会有确认的
    @orvice
    。。。
    chmod -R 777 / 才爽~
    xiqingongzi
        36
    xiqingongzi  
       2015-08-06 03:29:03 +08:00 via Android
    公司做云存储。我删了大概30W的数据。。。然后就没然后了。
    realpg
        37
    realpg  
    OP
    PRO
       2015-08-06 07:53:54 +08:00
    @xiqingongzi
    哈哈哈
    来来来,各位用云的看看为啥数据会丢……
    kn007
        38
    kn007  
       2015-08-06 08:01:20 +08:00
    @realpg 经历过、、
    moe3000
        39
    moe3000  
       2015-08-06 08:52:17 +08:00
    一个500M+的日志,直接vim了
    mactaew
        40
    mactaew  
       2015-08-06 08:53:22 +08:00 via iPhone
    @mringg 这只能半爽不爽~加上sudo就真爽了~
    ltye
        41
    ltye  
       2015-08-06 08:54:15 +08:00
    chomd 777 -R /
    这是一个及其悲伤的故事…
    pheyer
        42
    pheyer  
       2015-08-06 09:07:24 +08:00
    我转下微博就行了:
    @左耳朵耗子: 那时见过在BEA做Tuxedo同学给我展示了他们一个20000行的switch-case的代码,真是叹为观止。//@isfcsf:1500行,这是黑函数作者吧 //@左耳朵耗子:好吧,之前有个C文件某函数有1500多行,里面有个从头到尾的for循环,我没注意到,我在其中加了一个for循环,结果重用了循环变量i。还跑通了所有的测试
    @左耳朵耗子: 来来来,大家都来说说自己犯过最SB的错误吧。我先说一个我的,那年写Unix Shell脚本,本想删除一些临时的子目录,如:rm -rf ${mydir}/ ,结果呢,我没检查${mydir}这个变量是否为空,于是呢,在某种情况下,这变量真的为空了,于是,我成了团队的千古罪人。
    8月5日 21:21 来自 微博 weibo.com
    xiaole
        43
    xiaole  
       2015-08-06 09:13:02 +08:00 via iPhone   1
    没有光大证券的出来说说吗?
    Theo14
        44
    Theo14  
       2015-08-06 09:49:14 +08:00
    说到部署系统,可以试试rundeck
    cnhongwei
        45
    cnhongwei  
       2015-08-06 09:49:37 +08:00
    写自动部署脚本的时候,写错了一个参数,部署的时候在生产环境中跑了一次testcase,将数据库初始化成测试数据了。
    c742435
        46
    c742435  
       2015-08-06 09:51:54 +08:00
    在jenkins下执行了rm -fr ~
    不过部署系统是我搞的 几个小时后就复原了
    townboy
        47
    townboy  
       2015-08-06 10:11:01 +08:00
    sql delete 忘记加where子句
    young
        48
    youn  
       2015-08-06 10:13:14 +08:00
    kxxoling
        49
    kxxoling  
       2015-08-06 10:57:04 +08:00
    @young 损失惨重啊!
    z5n0w
        50
    z5n0w  
       2015-08-06 10:58:44 +08:00
    rm -r /media/c
    等我反应过来<Ctrl> + C 的时候
    然后我的Windows 剩下一半了
    wupher
        51
    wupher  
       2015-08-06 11:01:44 +08:00
    @xiaole 我也想起了光大那个悲剧程序员……

    当年有天晚上三点,和同事傻傻rm -rf weblogic下的某个应用部署……两个人当时都困迷糊了。这下全省运营商的客服系统都不能上故障单…… 删除之后立刻清醒了。还好之前10:00点钟的时候留了个tar包备份。
    ist
        52
    ist  
       2015-08-06 11:05:43 +08:00
    在公司测试环境连接数据库超时了,结果导致正式环境网站挂了,完全不知道是什么鬼……
    jianghu52
        53
    jianghu52  
       2015-08-06 11:42:48 +08:00
    我chmod R 777了公司的一个重要的文件夹。结果还没等我写入,就被另外一个孙子给del掉了。为了回复原始数据,我跟那孙子两个先干了一仗,然后两人开始找办法回复。最后回复的结果是,只恢复了文件名。。。。
    netdot
        54
    netdot  
       2015-08-06 11:59:03 +08:00
    修改群集的IP。
    NetCobra
        55
    NetCobra  
       2015-08-06 15:50:05 +08:00   1
    听到的事故:把一根网线两头都插到了交换机上,然后一上午公司几百人无法联网……
    wbsdty331
        56
    wbsdty331  
       2015-08-06 16:29:00 +08:00
    @NetCobra 现在路由器都没这种情况了吧,都能检测到环路的
    wraith4
        57
    wraith4  
       2015-08-06 16:37:21 +08:00
    rm -rf domain
    删除过生产线的weblogic的域和正在运行的应用,还好有备份。
    mlhorizon
        58
    mlhorizon  
       2015-08-06 16:49:41 +08:00
    当然刚入行,远程配置系统防火墙,把所有ip的远程访问都墙了......
    Obelly
        59
    Obelly  
       2015-08-06 17:03:44 +08:00
    算不上搞坏。
    曾经将某车间的横河控制系统弄出告警而已,值班人员尿都吓出来了。。。
    30吨氰化物车间。。。。。。
    li1215101
        60
    li1215101  
       2015-08-06 17:19:29 +08:00
    一个新来的在web上测试推送系统,结果没有加别名就发送出去了,全部iOS用户都收到一条莫名其妙的推送。。。。
    Flygoat
        61
    Flygoat  
       2015-08-06 19:52:49 +08:00
    。。。自己的project,在无人机上,清log的脚本里写的
    rm -rf / usr/local/xxxxx/xxx/log/fdr
    (那个空格你懂的)那本来是每小时执行一次的corn。。。正在欣慰的飞的时候忽然Boom。。。
    然后拖着因为舵机断电释放的气囊用备用遥控器一路飞回来,人快崩溃了。
    herozzm
        62
    herozzm  
       2015-08-06 22:07:10 +08:00
    放了100+网站的服务器,然后在www目录(下面放了100+网站) rm -rf *,10秒钟后醒悟过来了,赶紧ctrl+c
    herozzm
        63
    herozzm  
       2015-08-06 22:07:22 +08:00
    从此对rm有阴影
    samael
        64
    samael  
       2015-08-06 22:39:00 +08:00
    @young 硅谷第二季 , 干得漂亮
    test0x01
        65
    test0x01  
       2015-08-07 00:42:49 +08:00 via Android
    从未搞挂,那也是绝对不允许的,也没那么容易。如果真搞挂一个,那就死定了。
    realpg
        66
    realpg  
    OP
    PRO
       2015-08-07 08:52:11 +08:00
    @test0x01

    不一定非得是公司的东西。
    你就没有点啥自己的东西没那么高级的安全系统和规程拦着的?
    感觉每个码农都有点自己的小东西的
    publicID001
        67
    publicID001  
       2015-08-07 09:50:01 +08:00
    @xiqingongzi 这不算什么
    Yaren
        68
    Yaren  
       2015-08-07 12:32:51 +08:00
    @young 哈哈,硅谷里的二货投资人。
    realpg
        69
    realpg  
    OP
    PRO
       2015-08-07 12:37:37 +08:00
    @publicID001 请给云计算一些宽容么……
    go4fun
        70
    go4fun  
       2015-08-07 13:04:38 +08:00 via iPhone
    直接系统库挂了,大多数程序启动不了。我是ceo,所以没人开除我,但我开除了两个背黑锅的。哈哈,后面这句开玩笑了。最后只好镜像恢复。
    vicvinc
        71
    vicvinc  
       2015-08-07 15:58:26 +08:00
    svn 没有update直接commit了,然后覆盖了。。
    realpg
        72
    realpg  
    OP
    PRO
       2015-08-07 16:01:54 +08:00
    @vicvinc
    这个会提示的吧 the file is up to date
    我基本不用svn客户端本身,一直用的ECLIPSE里面的SVN,基本都会提示up to date

    不过svn直接update to revision 随便输个旧版本号就回去了怕啥……
    vicvinc
        73
    vicvinc  
       2015-08-07 16:12:18 +08:00
    @realpg 用的是win客户端,这个倒不是怕回滚,只是当时的项目负责人提东西快,我们提的慢,然后当时整一个操作系统,每次svn提的东西都要集成进去拿去测试的,然后那次就把项目负责人的东西没集进去- -
    solar
        74
    solar  
       2015-08-07 17:21:17 +08:00 via iPhone
    @vicvinc git 就不会这样
    iLtc
        75
    iLtc  
       2015-08-07 19:49:44 +08:00
    今天中午一不小心在自己的用户目录下执行了 rm -rf ./

    于是索性把整个用户目录能删的全部删掉,然后从 Time Machine 恢复了一些重要文件

    现在电脑磁盘空出来100+G
    wawehi
        76
    wawehi  
       2015-08-07 20:35:47 +08:00
    做游戏的,曾经误操作把所有玩家的金币清0了,停机24小时才恢复。。。当时每天收入是10万左右
    ddou
        77
    ddou  
       2015-08-07 21:27:03 +08:00
    本来想在测试环境数据库上修改下数据,不想SSH tunnel连着生产环境数据库,修改了所有生产环境数据。 还好只是修改,操作也是可逆的。默默地在所有人发现之前又改了回去。
    ychongsaytc
        78
    ychongsaytc  
       2015-08-08 00:29:56 +08:00
    alias cd="rm -rf"
    hack520
        79
    hack520  
       2015-08-08 09:17:41 +08:00   1
    rm -f /* 然後索性把服器扔掉重新了。
    realpg
        80
    realpg  
    OP
    PRO
       2015-08-09 15:13:22 +08:00
    @hack520 这是真土豪……删了点文件就重买硬件。

    @ychongsaytc 你这是蓄意破坏吧……

    @vicvinc 封装集成觉得还是要确认版本号的,甚至要出一个分支,哪怕不用后续维护……

    @wawehi 老板怎么说的?罚款了么
    wawehi
        81
    wawehi  
       2015-08-11 11:45:10 +08:00
    @realpg 没罚钱,只是说了下次注意。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     924 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 33ms UTC 20:56 PVG 04:56 LAX 13:56 JFK 16:56
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86