我在开发一个自动化测试平台,怎么证明我的自动化测试平台提效了呢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
hackingwu
V2EX    程序员

我在开发一个自动化测试平台,怎么证明我的自动化测试平台提效了呢?

  •  
  •   hackingwu
    hackingwu 2022-01-24 11:16:09 +08:00 3819 次点击
    这是一个创建于 1435 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我在开发一个自动化测试平台,怎么证明我的自动化测试平台提效了呢?并计算出我们提效了多少呢? 如果我们看测试周期,可是即使周期变短了,也可能是他们熟练度提高,服务端质量提高了。 那要怎么证明是我们平台做了提效呢?并能有量化的数据。

    23 条回复    2022-01-27 11:44:35 +08:00
    chtcrack
        1
    chtcrack  
       2022-01-24 11:19:05 +08:00   1
    那得老板懂得看代码,否则就是对牛弹琴,无任何意义.
    现在有很多私人老板完全不懂程序代码,属于外行管内行,碰上这种,你就当你自己做贡献,别想那么多了,最多提一句,别指望不懂程序的老板懂这个.
    dilu
        2
    dilu  
       2022-01-24 11:20:18 +08:00
    1. bug 率 例如以 1 个月为周期,用你的平台前 1 个月和后一个月 bug 率 即总 bug 数 /(需求*人日)
    2. 历史 case 回归时长占比,调研所有测试 case 中回归逻辑占比,时间同上
    3. 同样的时间周期,测试时间占比整个项目立项周期 看看是不是变短了
    micean
        3
    micean  
       2022-01-24 11:21:34 +08:00
    熟练度再高也比不过机器啊
    量化指标的话,综合测试用例总数和平均时间?
    geeksammao
        4
    geeksammao  
       2022-01-24 11:25:54 +08:00
    如果你是靠这个平台来作为业绩,那主要就是考验你的汇报、pr 能力了,即使是“他们熟练度提高”了你也要主动忽略掉再用话术包装成是你的平台的功劳。
    因为效率这种东西很多时候就不是能特别量化清楚并归因的指标,只要东西能做到 70 、80 分,剩下的就靠宣传和包装了。
    Renzo
        5
    Renzo  
       2022-01-24 11:59:44 +08:00
    感觉一个新的工具上线在短期内一定会让效率下降才对,长期才会让效率上升。还是着重于画饼汇报吧。。。
    otakustay
        6
    otakustay  
       2022-01-24 12:01:20 +08:00
    我们有一个指标,需求开发完成(待测试)到最终上线的时长,自动测试化应该能很大程度上缩短这个时间,这个短绝对不是人靠熟练能做到的,不然自动化干啥
    msg7086
        7
    msg7086  
       2022-01-24 12:21:46 +08:00
    主要就是 Story 完成时间和 Story 上线后的 bug 率。
    有良好自动化测试覆盖的程序上线以后出 Bug 的概率应该会很小,而且不需要很多人工去手动测试和反馈。
    jones2000
        8
    jones2000  
       2022-01-24 13:25:00 +08:00
    开源你的自动化测试平台, 如果用的人多说明确实可以提效, 如果没人用,基本就是再自嗨。
    hackingwu
        9
    hackingwu  
    OP
       2022-01-24 14:08:18 +08:00
    @Renzo 或者后续有哪些指标可以佐证。因为还需要采集数据。
    hackingwu
        10
    hackingwu  
    OP
       2022-01-24 14:08:58 +08:00
    @jones2000 公司内部平台, 会有人用。但是用完提效如何,我们要有数据支撑的。
    hackingwu
        11
    hackingwu  
    OP
       2022-01-24 14:09:32 +08:00
    @msg7086 是,但是怎么证明是我们平台起了效果呢?
    hackingwu
        12
    hackingwu  
    OP
       2022-01-24 14:10:36 +08:00
    @geeksammao 老板想看数据, 提质增效的数据证明。
    hackingwu
        13
    hackingwu  
    OP
       2022-01-24 14:10:57 +08:00
    @micean 平均时间指的是?
    hackingwu
        14
    hackingwu  
    OP
       2022-01-24 14:12:14 +08:00
    @dilu 好的,谢谢。
    micean
        15
    micean  
       2022-01-24 14:20:52 +08:00
    @hackingwu

    一个迭代里,测试的累计工时 /测试用例的数量
    jones2000
        16
    jones2000  
       2022-01-24 14:26:28 +08:00
    @hackingwu 每天的常规测试,晚上编译最新版本自动跑完所有的 test case, 发测试报告。 把每天的报告统计下就可以做很多报告了,
    如开发人员代码质量, 通过统计每天常规测试通过率。
    如测试代码覆盖率, 通过统计每天的测试代码覆盖率,可以知道测试部门测试用例是否可以跟上开发进度
    .......
    有用的东西都是要得罪人,如果没有相应的规章或(老板支持)基本是做不下去的。
    c8c
        17
    c8c  
       2022-01-24 15:50:46 +08:00
    既然是自动化测试,那么测试执行时间肯定是要大大缩短了啊。譬如同样 100 个 测试用例,手动跑需要一个星期,用自动化测试 3 天就好了。

    这不就是提高么?
    nullboy
        18
    nullboy  
       2022-01-24 17:56:10 +08:00
    自动化测试平台 == 没卵用
    nanlou
        19
    nanlou  
       2022-01-24 18:17:12 +08:00
    线下问题拦截率,线上问题拦截率,线上召回数量,人效,ROI 计算 blabla 一大堆指标...
    SmiteChow
        20
    SmiteChow  
       2022-01-25 09:57:12 +08:00
    证明不了
    SmiteChow
        21
    SmiteChow  
       2022-01-25 09:58:05 +08:00
    因为你没有原始数据
    flyingghost
        22
    flyingghost  
       2022-01-25 15:09:05 +08:00
    自动化 = 可重复。
    例如每次发布 /每次代码变更 /每次提交,都要跑一次核心用例回归。
    以前:一次回归人时数 * 每月总次数 = 人月数。
    现在:0

    老板,我帮你省了 n 个测试人力!
    hackingwu
        23
    hackingwu  
    OP
       2022-01-27 11:44:35 +08:00
    @dilu bug 率统计的是线上 bug 率吗
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5782 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 38ms UTC 02:26 PVG 10:26 LAX 18:26 JFK 21:26
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86