实时日志文件集中收集方法 - V2EX
salmon5

实时日志文件集中收集方法

  •  
  •   salmon5 Mar 31, 2017 6785 views
    This topic created in 3334 days ago, the information mentioned may be changed or developed.

    公司很多应用服务器 tomcat 等,业务日志输入没有统一的规范,由于是非结构化数据,各种抛异常 debug 等,没法用 ELK , 又没有专门的架构人员去规范业务日志,去做这套平台, 怎么实时的同步到一台机器上,比如 ip 地址是 10.1.1.1 的 /usr/local/tomcat/logs/* 到一台机器的 /data/logs/10.1.1.1/*,这样按日志的行同步,不用关心日志规范,以此类推 N 多应用服务器。 这样普通开发人员想分析日志只要这一个集中的服务器权限就可以了。

    Supplement 1    Jul 24, 2017
    看到有同志收藏了,更新下简单有效的解决方法,用 nfs,所有应用服务器的日志文件夹,mount 到集中日志服务器上,这可以说是最佳方案了!
    11 replies    2017-12-04 14:38:37 +08:00
    momocraft
        1
    momocraft  
       Mar 31, 2017   2
    感可以用 fluentd 把各器的各 log 到一
    miao1007
        2
    miao1007  
       Mar 31, 2017 via Android   1
    上 MQ 发送日志
    goodryb
        3
    goodryb  
       Mar 31, 2017   1
    同步文件 rsync ?
    jimzhong
        4
    jimzhong  
       Apr 1, 2017   1
    syslogd 支持远程日志服务器吧
    willakira
        5
    willakira  
       Apr 1, 2017   1
    Log4j 的 Appender 支持写到远程服务器
    https://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/net/SocketAppender.html
    知道这个的话剩下就是找个合适的服务了, logstash, syslog-nd 等等

    但是你这样只是解决了一个问题,日志的集中归纳

    建议你们在这之上搞一个日志分析系统,好处至少有这样几个:
    - 工程师可以更广地看待整个系统问题
    - 学习成本不高,因此 PM 也可以很好分析各种业务情况
    pekingzcc
        6
    pekingzcc  
       Apr 1, 2017   1
    最简单的就是折腾下 syslogd 或 Rsyslog
    bengle
        7
    bengle  
       Apr 1, 2017   1
    ELK 不就是干这个的么,不通的日志用不通的规则去解析,除非这些应用日志打在一个文件里??
    wingyiu
        8
    wingyiu  
       May 18, 2017
    写一个 LogUtil 库,统一一下日志格式,然后用 ELK 不就行了?
    glennxie
        9
    glennxie  
       Sep 7, 2017
    服务端:ELK,其实如果不过滤接收的日志,logstash 可以不装。
    tomcat 上装 filebeat 作为 agent 直接传输到 elasticsearch 或者传到 logstash 做过滤
    glennxie
        10
    glennxie  
       Sep 7, 2017
    机器多可以加 redis 或者其他作为缓存
    iappled
        11
    iappled  
       Dec 4, 2017
    rsyslog
    About     Help     Advertise     Blog     API     FAQ     Solana     2993 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 404ms UTC 12:42 PVG 20:42 LAX 05:42 JFK 08:42
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86