日志收集系统 Fluentd & td-agent 内存占用逐渐增长是什么原因呢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
yuandj
V2EX    程序员

日志收集系统 Fluentd & td-agent 内存占用逐渐增长是什么原因呢?

  •  
  •   yuandj 2021-07-27 15:16:21 +08:00 1904 次点击
    这是一个创建于 1568 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 1 、有多台机器,用同一镜像装的系统,负载均衡的同一个项目,只有最近新建的几台机器会有这种情况。
    • 2 、查看 td-agent 日志,大多时间并没有报错。版本是 fluentd (0.12.40),偶尔报错:
    buffer flush took longer time than slow_flush_log_threshold: plugin_id="object:3fc788a54800" elapsed_time=21.867602169 slow_flush_log_threshold=20.0 
    • 3 、下图是 TOP 命令,ruby 程序占用内存会逐渐增长,直至服务器内存打满。 img
    • 4 、下面是 td-agent 状态 img 5 、下面是配置文件:
    <source> type forward port 24224 bind 0.0.0.0 </source> ###加了下面这个 match 后,才出现内存增长的情况,但所有服务器都加了,只有最近建的机器才会出现 <match php.try.master.data.*.*> type forward send_timeout 10s recover_wait 10s heartbeat_interval 1s phi_threshold 16 hard_timeout 60s buffer_type memory buffer_chunk_limit 8m buffer_queue_limit 512 flush_interval 1s <server> name data-log host 10.10.173.37 port 24224 weight 60 </server> </match> <match php.**> type forward send_timeout 10s recover_wait 10s heartbeat_interval 1s phi_threshold 16 hard_timeout 60s buffer_type memory buffer_chunk_limit 8m buffer_queue_limit 64 flush_interval 2s <server> name php host 10.10.12.49 port 24224 weight 60 </server> </match> 

    新增了 match 之后, 最近新增的几台机器,内存偶尔会一直增长(一般出现在项目部署后),其他几台老机器没有任何问题。

    是配置文件有问题吗?

    yuandj
        1
    yuandj  
    OP
       2021-08-06 18:39:50 +08:00
    还是服务配置问题,调整和添加了以下参数解决了:
    新增:
    num_threads 2 # 处理线程数
    修改:(可以根据实际情况修改)
    buffer_chunk_limit 16m
    buffer_queue_limit 512
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5168 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 09:07 PVG 17:07 LAX 01:07 JFK 04:07
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86