我们开源了一个日志查询的小工具 - Dagger <文末含福利> - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
zhuyue
V2EX    云计算

我们开源了一个日志查询的小工具 - Dagger <文末含福利>

  •  
  •   zhuyue 2020-10-26 14:56:15 +08:00 2954 次点击
    这是一个创建于 1840 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Dagger是一个基于 Loki 的日志查询和管理系统,它是从我们的云平台内派生出来的一个项目。dagger 运行在 Loki 前端,当前具备日志查询、搜索、保存和下载等特性,适用于云原生场景下的容器日志管理场景,更多的功能我们会在后面持续开放。

    之前小白分享过许多关于 Loki 的文章,有的同学可能会问了Grafana 的 Explore 也可以接 Loki 查看日志啊,为什么还要自己在搞个 Dagger

    Grafana 的确非常不错,对于查询方面它非常的高效且炫酷,刚开始小白也是直接将 Grafana 丢给研发的同学自己使用,不过也遇到很多问题,以下就是我们的日常


    • 场景一

    研发: "在?这么多 Label,哪个才是我的应用啊?"

    运维: "这个...这个...还有这个"

    研发: "这么多,还要手写,真费劲!"

    运维: "..."


    • 场景二

    研发: "在?我想查 xxx 这个字段,怎么过滤啊?"

    运维: 默默敲下 LogQL 语句发送给他,并说"LogQL 语句,了解下?"

    研发: "牛,还要学啊,太麻烦了!"

    运维: "..."


    • 场景三

    研发: "在?,帮我下载下 xx 容器里面 x 时 xx 分的日志"

    运维: 经过一顿 kubectl cp 操作后,把日志发给了他

    ...过了 2 分钟...

    研发: "在?再帮我下载下 yy 容器里面 y 时 yy 分的日志,谢谢!"

    运维: 再经过一顿 kubectl cp 操作后,把日志发给了他,~~并在心中一万个草泥马跑过~~


    • 场景四

    研发:"在?我应用怎么查不到 jira 里报告的 xx 那天日志了?"

    运维:经过一顿调查后,"日志超过保留日期,被清除了"

    研发:"我正准备看日志 debug 呢!算了,下次吧",并顺手把 jira 转给运维

    运维:内心 os"宝宝心里苦,但宝宝不说"


    相信聪明的你一定发现了Grafana 的重心在于查日志,对于日志的管理始终差了点意思,这也是我们发起 dagger 初衷,让查日志的操作和保存更加简单方便。话不多说,先上图

    当前 Dagger 支持的功能还非常的少,仅仅满足了最基本的一些需求:

    • 支持日志按照标签和正则匹配的过滤规则,并且按照时间选择查询的日志(日志最大留存时间依赖 loki 配置),在过滤的行数里面支持日志上下文的追踪;
    • 简单的日志等级过滤,以及最大行数的选择,提供正序和倒序两种方式输出;
    • 提供日志的实时推送和日志下载功能;
    • 支持查询历史,并在快速查询中列出以保存的标签;
    • 支持日志快照,将当前查询的结果保存在 dagger 当中,提供下载和查看

    持续改进

    虽然 Dagger 还非常的新,不过它已经在我们内部稳定运行了 8 个月,当前我们仍然还有很多东西需要完善,比如:

    • 管理多个 Loki 实例

      • 在 Dagger 内支持多个 Loki 实例的配置管理,并支持多实例的日志查询
    • 日志告警

      • 支持 LogQL 的方式在前端添加自定义日志度量
      • 支持 Loki-Ruler 组件,在界面支持 ruler 的编辑和推送
      • 日志告警事件的订阅、收敛和通知(多渠道)
    • 部署简单

      • 集成多种日志客户端和 loki 的部署,完成一键部署

    总结

    请大家关注 Dagger 在 GitHub 上的仓库,内有更详尽的文档 https://github.com/CloudmindsRobot/dagger

    最后附上一个抽奖红包,关注云原生小白公众号回复dagger获取抽奖资格,10 月 30 日早上 9 点开,感谢大家转发支持

    5 条回复    2020-11-03 17:57:14 +08:00
    ioiioi
        1
    ioiioi  
       2020-10-27 00:01:52 +08:00
    这波推广赞一个,应用场景化。目标明确,简单明了。
    Ehco1996
        2
    Ehco1996  
       2020-10-27 10:05:14 +08:00
    看上去不错 研究一下
    aeli
        3
    aeli  
       2020-10-27 10:27:48 +08:00
    这个不错,支持一下
    zhuyue
        4
    zhuyue  
    OP
       2020-10-27 18:43:51 +08:00
    欢迎大佬们来拍砖
    pepesii
        5
    pepesii  
       2020-11-03 17:57:14 +08:00
    START 一下先
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1096 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 17:36 PVG 01:36 LAX 09:36 JFK 12:36
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86