[开源] MyData 基于 Web API 的数据集成平台 v0.7.0 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
lien321
V2EX    分享创造

[开源] MyData 基于 Web API 的数据集成平台 v0.7.0

  •  
  •   lien321 2023-12-26 22:58:16 +08:00 1968 次点击
    这是一个创建于 683 天前的主题,其中的信息可能已经有所发展或是发生改变。

    介绍

    MyData ,一个旨在简化 Web 应用之间数据对接的工具,提高日常工作效率,如其名“我的数据” 旨在让用户更好的掌控和管理数据。

    v1.0 的目标是:针对多应用之间数据集成的场景,为开发人员提供更安全、更方便的对接集成方案;

    项目资料

    系统结构

    image 绿线是新的数据传输通道,红线是被取代的通道;

    • 适用于
      • 基于 HTTP(S)协议 API 的应用之间对接数据;
      • 为项目或组织内部构建数据中心,降低对接门槛;
    • 目前不适用于
      • 实时的对接场景,需要接入第三方组件 对应用有技术要求;
      • 一次传输大量的数据,由于 HTTP 服务器通常有大小和时间相关的配置限制;

    系统特色

    1. 数据安全 MyData 尊重业务系统本身对数据的处理逻辑,通过 API 传输数据 可复用业务上对数据出和入的要求限制; 参与对接的业务系统无需开放数据库,也从源头断绝数据泄露的风险;

    2. 简化结构 MyData 扮演数据中心的角色,与所有应用都是一对一的关系,因此应用只需与 MyData 对接 无需与其他应用对接;

    3. 零侵入 采用 Web API 传输数据,无需任何 SDK ; 随着前后端分离的成熟,应用已有可用的 API 作为数据传输的通道,简化对接工作; 即使已有的接口不合适 开发新 API 也不存在技术问题;

    4. 可控性高 MyData 提供界面可配置的调度任务,系统会按指定间隔调用 API 传输数据; 让接口的调用可控且有迹可循,避免了应用对外公开 API 但无法管控第三方调用的情况;

    5. 复用性高 通过 API 集成 可减少业务变化、应用迁移或技术升级等情况造成的影响; MyData 提供环境管理,可配置环境的访问前缀地址,通过修改或新建环境可快速调整 API 的访问地址; 而业务变化和技术升级 都是 API 内部的变化,只要确保 API 能够正常调用和返回正确的数据即可;

    数据对接流程

    image

    功能模块

    image

    2 条回复    2024-02-29 15:16:57 +08:00
    nielinjie
        1
    nielinjie  
       2024-02-29 10:27:52 +08:00
    有点像以前流行的 ESB ?对比优势是什么呢?
    lien321
        2
    lien321  
    OP
       2024-02-29 15:16:57 +08:00
    @nielinjie 您好,感谢提问
    目前市面上有很多数据相关的平台或系统,而 MyData 的定位是专一提供数据集成服务,疏通数据的来源和去向,同时可以把其他数据相关的平台融合起来 而不是要取代;
    技术方面,因为开源 所以系统相对轻量些,MyData 仅支持 Web API 对接 基本没有技术要求、能复用业务接口对数据的处理、更不会侵入业务数据库;
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2104 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 00:48 PVG 08:48 LAX 16:48 JFK 19:48
    Do ave faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86