API 日志分析统计什么架构比较好? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
cv1024
V2EX    程序员

API 日志分析统计什么架构比较好?

  •  
  •   cv1024 2020 年 8 月 25 日 4856 次点击
    这是一个创建于 2019 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前 app 的 api 请求日志都是放在日志.log 里的,也没有 shell 去统计量。有没有好的工作可以做这种统计,ELK 感觉太过重,有没有轻量的工具推荐?

    25 条回复    2020-08-26 11:25:55 +08:00
    InkAndBanner
        1
    InkAndBanner  
       2020 年 8 月 25 日
    同求
    tabris17
        2
    tabris17  
       2020 年 8 月 25 日
    ELK 还重?自己写 python 脚本吧
    ben1024
        3
    ben1024  
       2020 年 8 月 25 日
    ELK
    直接 E
    ben1024
        4
    ben1024  
       2020 年 8 月 25 日
    或者用哨兵
    chendy
        5
    chendy  
       2020 年 8 月 25 日
    elk 虽然”重“但是功能全
    其实只有 e 是必须的,l 和 k 都可以换(其实主要是 e 重…)
    letitbesqzr
        6
    letitbesqzr  
       2020 年 8 月 25 日
    没觉得 elk 有多重,es 是那种配置越好性能越好的软件.. 你要实在觉得“重”,使劲压榨下参数不就行了。。
    liujialongstar
        7
    liujialongstar  
       2020 年 8 月 25 日
    个人感觉 elk 里 k 比较重, 功能太多了, 一直没理清; 好在有替代品/div>
    Fitz
        8
    Fitz  
       2020 年 8 月 25 日
    loki
    ohao
        9
    ohao  
       2020 年 8 月 25 日
    小公司个人的话 推荐 clickhouse,类 sql 查询支持 这个比较适合
    但是也要考虑你的查询需求和日志量和业务增加速度,做好预留

    ELK 的套件 非中大公司不太推荐 ,集群,容灾,一堆一堆的问题,虽然资料相对多
    对资源和维护要求都比较高
    我们以前 CDN 系统的日志支持的是这个,实际交付给客户使用阶段 还是发现不太合适
    xuanbg
        10
    xuanbg  
       2020 年 8 月 25 日
    ELK/EFK 这种一点都不重,几行 docker 命令就搞定
    nikandaoleshenme
        11
    nikandaoleshenme  
       2020 年 8 月 25 日
    0,自己动手写一个
    1,日志有明确的格式
    2,编写一个程序( shell 、py 、亦或你最拿手的语言 java 、go ),定时读取日志,然后解析格式(解析规则取决于日志格式),入库
    3,库可以是 es,甚至 mysql 、 建议文档数据库 mongodb,简单易用,方便后续的聚合查询
    4,工作量:一个人全心投入,一个下午即可出一个 简版来
    5,注意事项:日志解析需要细心,大文本读取策略,内存溢出,
    6,开始行动 或者 pass
    aeli
        12
    aeli  
       2020 年 8 月 25 日
    日志目前我用了 loki,算轻量的收集。但对 trace 之类支持不好。
    cv1024
        13
    cv1024  
    OP
       2020 年 8 月 25 日
    @tabris17 奈何脚本使用不灵活。还要手写各种统计的图。

    @ben1024
    @chendy
    @letitbesqzr
    @liujialongstar
    @xuanbg 谢谢各位,elk 是在待选方案里的,也打算进行尝试。
    cv1024
        14
    cv1024  
    OP
       2020 年 8 月 25 日
    @ohao 感谢,回头了解一下这个东西。
    cv1024
        15
    cv1024  
    OP
       2020 年 8 月 25 日
    @Fitz
    @aeli 谢谢,这个东西之前没搞过,看了下介绍,是轻量级工具。
    vipppppp
        16
    vipppppp  
       2020 年 8 月 25 日
    我们组折腾了一圈后回到了 elk,filebeat,kafka 。。
    自己开发与其他工具不是维护太麻烦、资料太少就是功能缺失。。
    c00WKmdje2wZLrSI
        17
    c00WKmdje2wZLrSI  
       2020 年 8 月 25 日
    为什么不用阿里云的日志服务呢?价格比自建低,又不用运维
    stardustree
        18
    stardustree  
       2020 年 8 月 25 日
    想轻量就不要采集原始的日志,直接在客户端从原始日志里抽出关心的指标,然后随便搞个时序数据库存着就好了
    chinvo
        19
    chinvo  
       2020 年 8 月 25 日
    gaigechunfeng
        20
    gaigechunfeng  
       2020 年 8 月 25 日
    elk 这种是日子分析框架,还是采集框架?
    我现在是需要在小程序,前端采集数据。不知道 elk 能不能支持
    fanshaohua
        21
    fanshaohua  
       2020 年 8 月 25 日 via Android
    可以考虑一下 Azure 的 Application Insight.
    podel
        22
    podel  
       2020 年 8 月 25 日
    强烈按理 阿里云的日志服务。
    便宜又好用。还能直接监测 VPS 上面的日志文件,还有智能正则匹配功能。
    sadfQED2
        23
    sadfQED2  
       2020 年 8 月 25 日 via Android
    https://www.xjiangwei.cn/2020/07/12/serverArchitecture/

    我个人博客项目的日志系统怎么样?绝对够轻量
    SmiteChow
        24
    SmiteChow  
       2020 年 8 月 26 日
    Google Analytics
    aladdindingding
        25
    aladdindingding  
       2020 年 8 月 26 日
    我们公司用的 clickhouse
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2755 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 14:47 PVG 22:47 LAX 06:47 JFK 09:47
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86