[开源工具] 被运用到上万个项目中的数据生成器[ Data-Processer] 宣布开源 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cloudwise
V2EX    开源软件

[开源工具] 被运用到上万个项目中的数据生成器[ Data-Processer] 宣布开源

  •  
  •   cloudwise 2016-12-16 14:16:57 +08:00 4563 次点击
    这是一个创建于 3221 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Data-Processer 简介:

    Data-Processer 是一个模拟数据生成器。

    通常在测试过程中,产生完整、全面的真实数据比较困难。 Data-Processer 可以帮助我们根据需求,创建对应的模版和词典,生成我们要的模拟数据。

    此工具由云智慧发布,是一款成熟的模拟数据生成器。已被广泛的运用于全栈性能监控、端到端应用性能管理、全链路性能压测、实时大数据可视化、业务运维等众多项目中,在电商、在线教育、政企、互联网金融、 o2o 、游戏、企业服务等行业均被使用。

    Data-Processer 使用场景

    Data-Processer 能够根据构建的模版和词典,生成我们需要的数据。在测试环境、持续集成、生产环境中,均可使用。

    测试场景

    测试过程中,我们需要验证数据后端的功能或性能,此时,需要降低与数据产生端的耦合,那么需要一个稳定优秀的数据生成器,来持续的不间断的产生正确的数据,和特殊情况下的异常数据。

    持续集成场景

    在整个持续集成场景中,一个或多个模块组成一个平台,需要有源源不断的数据进入持续集成环境,用以自动化地完成测试和迭代工作,使用 Data-Processer 则可以通过数据样本的指定和简单的编码,非常简单地完成这个需求。

    生产场景

    在一个项目完成测试和迭代,发布到生产环境之后,通常也需要进行持续的功能或可用性监测,那么则需要有各种正常或异常数据按照某种规则和定义,持续稳定地生产并送回平台,此时将持续集成场景中的 case ,只需通过简单配置,则可以进行生产的验证,以满足这个需求。

    Data-Processer 的架构

    数据生成器包括:模版变量提取,模版变量执行,模版变量替换组成,三部分组成。

    使用示例

    Data-Processer 资源链接

    源码地址: https://github.com/CloudWise-OpenSource/Data-Processer

    Demo 地址: https://github.com/CloudWise-OpenSource/Data-Processer-Demo

    1 条回复    2018-05-03 11:23:54 +08:00
    qq454274655
        1
    qq454274655  
       2018-05-03 11:23:54 +08:00
    你好,我用这个工具将数据插入到了 hbase 中,在本地跑是没有问题可以完美的插入到 hbase 中,但是打 jar 在服务器上运行的时候 com.cloudwise.sdg.dic.DicInitializer 取不到值( null ),导致我写的解析 json 报格式错误。 你有方法解决这个问题吗?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5518 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 37ms UTC 09:02 PVG 17:02 LAX 02:02 JFK 05:02
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86