实时日志文件集中收集方法 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
salmon5
V2EX    DevOps

实时日志文件集中收集方法

  •  
  •   salmon5 2017-03-31 22:45:19 +08:00 6436 次点击
    这是一个创建于 3116 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司很多应用服务器 tomcat 等,业务日志输入没有统一的规范,由于是非结构化数据,各种抛异常 debug 等,没法用 ELK , 又没有专门的架构人员去规范业务日志,去做这套平台, 怎么实时的同步到一台机器上,比如 ip 地址是 10.1.1.1 的 /usr/local/tomcat/logs/* 到一台机器的 /data/logs/10.1.1.1/*,这样按日志的行同步,不用关心日志规范,以此类推 N 多应用服务器。 这样普通开发人员想分析日志只要这一个集中的服务器权限就可以了。

    第 1 条附言    2017-07-24 13:01:33 +08:00
    看到有同志收藏了,更新下简单有效的解决方法,用 nfs,所有应用服务器的日志文件夹,mount 到集中日志服务器上,这可以说是最佳方案了!
    11 条回复    2017-12-04 14:38:37 +08:00
    momocraft
        1
    momocraft  
       2017-03-31 22:48:16 +08:00   2
    感可以用 fluentd 把各器的各 log 到一
    miao1007
        2
    miao1007  
       2017-03-31 23:25:14 +08:00 via Android   1
    上 MQ 发送日志
    goodryb
        3
    goodryb  
       2017-03-31 23:59:50 +08:00   1
    同步文件 rsync ?
    jimzhong
        4
    jimzhong  
       2017-04-01 07:33:03 +08:00   1
    syslogd 支持远程日志服务器吧
    willakira
        5
    willakira  
       2017-04-01 08:22:29 +08:00   1
    Log4j 的 Appender 支持写到远程服务器
    https://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/net/SocketAppender.html
    知道这个的话剩下就是找个合适的服务了, logstash, syslog-nd 等等

    但是你这样只是解决了一个问题,日志的集中归纳

    建议你们在这之上搞一个日志分析系统,好处至少有这样几个:
    - 工程师可以更广地看待整个系统问题
    - 学习成本不高,因此 PM 也可以很好分析各种业务情况
    pekingzcc
        6
    pekingzcc  
       2017-04-01 15:13:46 +08:00   1
    最简单的就是折腾下 syslogd 或 Rsyslog
    bengle
        7
    bengle  
       2017-04-01 16:05:38 +08:00   1
    ELK 不就是干这个的么,不通的日志用不通的规则去解析,除非这些应用日志打在一个文件里??
    wingyiu
        8
    wingyiu  
       2017-05-18 15:47:24 +08:00
    写一个 LogUtil 库,统一一下日志格式,然后用 ELK 不就行了?
    glennxie
        9
    glennxie  
       2017-09-07 14:03:20 +08:00
    服务端:ELK,其实如果不过滤接收的日志,logstash 可以不装。
    tomcat 上装 filebeat 作为 agent 直接传输到 elasticsearch 或者传到 logstash 做过滤
    glennxie
        10
    glennxie  
       2017-09-07 14:04:08 +08:00
    机器多可以加 redis 或者其他作为缓存
    iappled
        11
    iappled  
       2017-12-04 14:38:37 +08:00
    rsyslog
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2221 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 00:58 PVG 08:58 LAX 17:58 JFK 20:58
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86