运用腾讯云 TCR 高效构建 Docker 镜像服务 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
AssassinYe
V2EX    Docker

运用腾讯云 TCR 高效构建 Docker 镜像服务

  •  
  •   AssassinYe 2024-11-01 14:40:49 +08:00 2494 次点击
    这是一个创建于 421 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    构建镜像 FROM centos-->RUN 一系列各种包,一顿骚操作,一不小心镜像文件就好几百 M 甚至超 1G 。时间稍长,Harbor 镜像仓库就会迅速膨胀,存储空间轻松超好几个 TB ,紧随而来的就是权限管理、内外网访问、镜像分发等各种问题。 因资源都在良心云上,于是专门研究了腾讯云的 TCR (容器镜像服务),同时联系了官网客服,简述了我的痛点和需求,客服人员并没有简单的丢文档,而是主动来电话沟通,提供了定制化的建议。腾讯云技术小哥的服务过程,真心值得一个大大的赞。 结合实操经验,本文将探讨如何减少构建时间、降低镜像体积、提高可维护性,以及多阶段构建的最佳实践。期望帮助大家在构建 Docker 镜像时更加高效和专业。

    1 、减少构建时间

    一个开发周期包括构建 Docker 镜像,更改代码,然后重新构建 Docker 镜像。在构建镜像的过程中,如果能够利用缓存,可以减少不必要的重复构建步骤。

    构建顺序影响缓存的利用率

    dockerfile-1

    镜像的构建顺序很重要,当你向 Dockerfile 中添加文件,或者修改其中的某一行时,那一部分的缓存就会失效,该缓存的后续步骤都会中断,需要重新构建。所以优化缓存的最佳方法是把不需要经常更改的行放到最前面,更改最频繁的行放到最后面。

    只拷贝需要的文件,防止缓存溢出

    dockerfile-2

    当拷贝文件到镜像中时,尽量只拷贝需要的文件,切忌使用 COPY . 指令拷贝整个目录。如果被拷贝的文件内容发生了更改,缓存就会被破坏。在上面的示例中,镜像中只需要构建好的 jar 包,因此只需要拷贝这个文件就行了,这样即使其他不相关的文件发生了更改也不会影响缓存。

    最小化可缓存的执行层

    dockerfile-3

    每一个 RUN 指令都会被看作是可缓存的执行单元。太多的 RUN 指令会增加镜像的层数,增大镜像体积,而将所有的命令都放到同一个 RUN 指令中又会破坏缓存,从而延缓开发周期。当使用包管理器安装软件时,一般都会先更新软件索引信息,然后再安装软件。推荐将更新索引和安装软件放在同一个 RUN 指令中,这样可以形成一个可缓存的执行单元,否则你可能会安装旧的软件包。

    2 、减小镜像体积

    镜像的体积很重要,因为镜像越小,部署的速度更快,攻击范围越小。

    删除不必要依赖

    dockerfile-4

    删除不必要的依赖,不要安装调试工具。如果实在需要调试工具,可以在容器运行之后再安装。某些包管理工具(如 apt )除了安装用户指定的包之外,还会安装推荐的包,这会无缘无故增加镜像的体积。apt 可以通过添加参数 -no-install-recommends 来确保不会安装不需要的依赖项。如果确实需要某些依赖项,请在后面手动添加。

    删除包管理工具的缓存

    dockerfile-5

    包管理工具会维护自己的缓存,这些缓存会保留在镜像文件中,推荐的处理方法是在每一个 RUN 指令的末尾删除缓存。如果你在下一条指令中删除缓存,不会减小镜像的体积。 当然了,还有其他更高级的方法可以用来减小镜像体积,如下文将会介绍的多阶段构建。接下来我们将探讨如何优化 Dockerfile 的可维护性、安全性和可重复性。

    3 、可维护性

    尽量使用官方镜像

    dockerfile-6 使用官方镜像可以节省大量的维护时间,因为官方镜像的所有安装步骤都使用了最佳实践。如果你有多个项目,可以共享这些镜像层,因为他们都可以使用相同的基础镜像。使用更具体的标签

    dockerfile-7

    基础镜像尽量不要使用 latest 标签。虽然这很方便,但随着时间的推移,latest 镜像可能会发生重大变化。因此在 Dockerfile 中最好指定基础镜像的具体标签。我们使用 openjdk 作为示例,指定标签为 8 。其他更多标签请查看官方仓库。

    使用体积最小的基础镜像

    dockerfile-8

    基础镜像的标签风格不同,镜像体积就会不同。slim 风格的镜像是基于 Debian 发行版制作的,而 alpine 风格的镜像是基于体积更小的 Alpine Linux 发行版制作的。其中一个明显的区别是:Debian 使用的是 GNU 项目所实现的 C 语言标准库,而 Alpine 使用的是 Musl C 标准库,它被设计用来替代 GNU C 标准库( glibc )的替代品,用于嵌入式操作系统和移动设备。因此使用 Alpine 在某些情况下会遇到兼容性问题。 以 openjdk 为例,jre 风格的镜像只包含 Java 运行时,不包含 SDK ,这么做也可以大大减少镜像体积。

    4 、重复利用

    到目前为止,我们一直都在假设你的 jar 包是在主机上构建的,这还不是理想方案,因为没有充分利用容器提供的一致性环境。例如,如果你的 Java 应用依赖于某一个特定的操作系统的库,就可能会出现问题,因为环境不一致(具体取决于构建 jar 包的机器)。

    在一致的环境中从源代码构建

    源代码是你构建 Docker 镜像的最终来源,Dockerfile 里面只提供了构建步骤。 dockerfile-9

    首先应该确定构建应用所需的所有依赖,本文的示例 Java 应用很简单,只需要 Maven 和 JDK ,所以基础镜像应该选择官方的体积最小的 maven 镜像,该镜像也包含了 JDK 。如果你需要安装更多依赖,可以在 RUN 指令中添加。pom.xml 文件和 src 文件夹需要被复制到镜像中,因为最后执行 mvn package 命令(-e 参数用来显示错误,-B 参数表示以非交互式的“批处理”模式运行)打包的时候会用到这些依赖文件。 虽然现在我们解决了环境不一致的问题,但还有另外一个问题:每次代码更改之后,都要重新获取一遍 pom.xml 中描述的所有依赖项。下面我们来解决这个问题。

    在单独的步骤中获取依赖项

    dockerfile-10

    结合前面提到的缓存机制,我们可以让获取依赖项这一步变成可缓存单元,只要 pom.xml 文件的内容没有变化,无论代码如何更改,都不会破坏这一层的缓存。上图中两个 COPY 指令中间的 RUN 指令用来告诉 Maven 只获取依赖项。 现在又遇到了一个新问题:跟之前直接拷贝 jar 包相比,镜像体积变得更大了,因为它包含了很多运行应用时不需要的构建依赖项。

    使用多阶段构建来删除构建时的依赖项

    dockerfile-11

    多阶段构建可以由多个 FROM 指令识别,每一个 FROM 语句表示一个新的构建阶段,阶段名称可以用 AS 参数指定。本例中指定第一阶段的名称为 builder ,它可以被第二阶段直接引用。两个阶段环境一致,并且第一阶段包含所有构建依赖项。 第二阶段是构建最终镜像的最后阶段,它将包括应用运行时的所有必要条件,本例是基于 Alpine 的最小 JRE 镜像。上一个构建阶段虽然会有大量的缓存,但不会出现在第二阶段中。为了将构建好的 jar 包添加到最终的镜像中,可以使用 COPY --from=STAGE_NAME 指令,其中 STAGE_NAME 是上一构建阶段的名称。 dockerfile-12

    多阶段构建是删除构建依赖的首选方案。 本文从在非一致性环境中构建体积较大的镜像开始优化,一直优化到在一致性环境中构建最小镜像,同时充分利用了缓存机制。

    5 、镜像上传

    在前面我们谈到如何将 Docker 镜像瘦身让你的容器更轻巧、更安全,接下来讲讲如何将镜像上传到镜像仓库中,接下来我们将介绍如何将镜像上传到镜像仓库。在这里,我想特别推荐腾讯云的容器镜像服务( TCR ),它能够与 Coding 和 TKE 无缝结合,为企业级用户提供一体化的云原生 DevOps 解决方案。值得一提的是,腾讯云的售后客服团队以其专业的技术支持和热情的服务态度而闻名,确保你在使用过程中获得及时的帮助和指导。

    1 、创建 TCR (容器镜像服务) dockerfile-13

    ps: 注意收费模式

    dockerfile-14

    dockerfile-15

    2 、创建名称空间---->这里其实对应的是 harbor 中的新建项目,我创建了一个 dockerfile-test 以用于我们镜像测试上传测试。

    dockerfile-16

    3 、创建一个镜像空间用于存放镜像 dockerfile-17

    4 、创建好后点击“仓库信息”可以看到登录信息和推送镜像、拉取镜像等命令。 dockerfile-18

    以上是我对 dockerfile 的一些知识总结和理解,如有错漏,敬请指出!

    写在最后

    选择 TCR 还是选择开源产品 Harbor ,还是要因人而异/因需而异,既要看需求,也要看预算。我们公司因对安全性有更高的要求,在腾讯云官网售后技术小哥的专业建议下,果断选择了 TCR 镜像服务。如果预算有限,需求场景较为简单,或者企业处于初创阶段,自建 Harbor 也是一个可行的选择。

    1 条回复    2024-11-04 15:14:17 +08:00
    panisertoller
        1
    panisertoller  
       2024-11-04 15:14:17 +08:00
    非常耐撕的实践分享!有个问题想了解:镜像文件容易膨胀到几个 TB ,TCR 有没有特定策略来管理镜像版本,或者减少冗余数据?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2596 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 14:54 PVG 22:54 LAX 06:54 JFK 09:54
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86