把 syslog-only 的应用程序的日志重定向到 stdout - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
beyondstars
V2EX    Linux

把 syslog-only 的应用程序的日志重定向到 stdout

  •  
  •   beyondstars 6 小时 16 分钟前 263 次点击

    背景

    最近在部署容器化的 MX ,其中要用到 OpenDKIM 这个 milter (负责给出站邮件附上 dkim 签名,并检查入站邮件的 dkim 签名),opendkim 有一个问题就是我不知道怎么配才能让它把日志写到 stdout ,它只会往 syslog 写日志,这就是我说的 syslog-only 应用程序。

    容器化的实例最好还是把日志写到 stdout ,方便 container supervisor 统一收集和管理,也具有通用性。我可以把宿主机的 /dev/log socket 以 bind mount 的方式挂载到容器的 mount ns ,然而这种做法破坏了容器的自包含性,会让容器部署依赖于宿主机的 syslog socket 的具体位置。并且在公有云 PaaS 或者权限受限的环境下,访问宿主机的 syslog 服务(或修改其配置让它将来着容器的日志转发到特定端点)并不总是可能的。

    什么是 syslog ? syslog 它既是一个动态链接库提供的一个函数,也是一种日志分发的方式,依赖于 syslog 打印日志的应用程序称为 syslog client ,一般通过 socket 向本机的 syslog server 通信,syslog server 决定对各个应用发来的日志作何处理。

    解决方案

    A. 挂载 (bind mount) 宿主机的 syslog socket 到容器内部,一般位于 /dev/log ,实际上在我的机器上这是一个 symbol link ,指向一个 systemd-journald 负责监听的 socket ,这样就可以让宿主机的 syslog server (systemd-journald) 扮演容器看来缺失了的 syslog server 的角色。前面说了为什么这种做法不行。

    B. 我们说了 syslog 函数一般是通过动态链接的方式实现的,也就是说 app 自己的二进制可能没有 syslog client 的实现逻辑,这个逻辑是复用动态链接库里实现好了的 syslog client 的代码,系统通过解析 syslog 函数到真正的实现(一个 PIE shared object 文件)来使得 app 能以符合 syslog client 规范的行为向 syslog socket 发送日志。理论上,可以通过 LD_PRELOAD 的方式,劫持 app 调用的 syslog 函数。我们自己实现一个仿 syslog 函数,和 app 调用的 syslog 函数的签名一样,然后把收到的日志打到 stdout 。这种方案比较复杂,需要在容器构建时,编译这个 PIE shared object 文件,对于 multi-arch 镜像,也需要为每一种 arch 编译一份 shared object 文件。还需要在容器构建过程中安装额外的 toolchain 。

    C. 在容器里启动一个轻量级的 syslog server 。这是最简单的、最合理的。既然 app 需要 syslog 才能工作,那就给他一个真的。

    思路

    1. 在构建容器的过程中,安装 syslog-ng 软件包,生成或复制一份 syslog-ng 配置文件到容器镜像内。
    2. syslog-ng 的自定义配置思想主要是把所有收集而来的日志转发到一个具名管道,透过 mkfifo 命令创建该管道,或者让 syslog-ng 自动创建。
    3. 使用自定义的容器内启动脚本,使用 --no-caps 参数启动 syslog-ng ,让 shell 读取具名管道,把内容导给一个后台运行的 cat 进程。
    4. 完成一切准备工作后才启动真正要启动的应用。

    具体实现代码

    Dockerfile:

    FROM debian:trixie RUN \ apt-get -y update && \ DEBIAN_FROnTEND=noninteractive apt-get -y --no-install-recommends install opendkim opendkim-tools syslog-ng && \ apt-get clean && \ rm -rf /var/lib/apt/lists/* COPY <<EOF /etc/syslog-ng/syslog-ng.conf destination d_pipe { pipe("/var/log/any.log.pipe"); }; source src { system(); }; log { source(src); destination(d_pipe); }; EOF COPY <<EOF /entrypoint.sh #!/bin/bash mkfifo /var/log/any.log.pipe syslog-ng --no-caps cat </var/log/any.log.pipe & exec /usr/sbin/opendkim -f -x /etc/opendkim/opendkim.conf EOF RUN chmod +x /entrypoint.sh CMD [ "/entrypoint.sh" ] 
    4 条回复    2025-11-24 15:24:38 +08:00
    defunct9
        1
    defunct9  
       4 小时 28 分钟前
    容器里的 opendkim 掉了,syslog-ng 没掉,怎么办
    beyondstars
        2
    beyondstars  
    OP
       3 小时 31 分钟前
    @defunct9 或许会考虑用 tini 作为一个轻量的 supervisor ,或者 docker run 加 --init 参数。
    beyondstars
        3
    beyondstars  
    OP
       3 小时 28 分钟前
    还有一种方法是在 Dockerfile 编写自定义的 healthcheck ,docker 应该会自动重启 unhealthy 的容器
    defunct9
        4
    defunct9  
       3 小时 12 分钟前
    -f
    Normally opendkim forks and exits immediately, leaving the service running in the background. This flag suppresses that behaviour so that it runs in the foreground.

    So, 一定是你某个地方配的不对。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3465 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 19ms UTC 10:37 PVG 18:37 LAX 02:37 JFK 05:37
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86