如何更高效更快地构建Docker镜像

WBOLT_COM 4 月 15, 2023 623 0

如何更高效更快地构建Docker镜像

在构建服务期间，我们经常需要构建docker镜像。我们每天都要做很多次。这可能是一个耗时的任务。在本地，我们只注意到一点，但在CI/CD管道中，这可能是一个问题。

在这篇文章中，我将告诉你如何加快构建Docker镜像这一过程。我将向你展示如何使用缓存，将你的Docker文件分层，并使用多阶段构建，以使你的构建更快。

为此，我将使用一个简单的Go应用程序。你可以使用你的任何其他应用程序。你使用哪个堆栈、语言或框架并不重要。原则都是一样的。

我所做的一切都在我的本地机器上执行。我不使用任何CI/CD工具。我使用Docker Desktop for Mac。

清理工作
起始点
多阶段构建
分层和缓存
总结
参考文献

清理工作

为了确保我们从一个干净的状态开始，我们可以删除所有未使用的镜像、容器、卷和网络：

$ docker system prune -a
WARNING! This will remove:
- all stopped containers
- all networks not used by at least one container
- all images without at least one container associated to them
- all build cache
Are you sure you want to continue? [y/N] y
...gone with the wind...

起始点

我从一个简单的Dockerfile（Dockerfile_1）开始：

FROM golang:buster
WORKDIR /app
COPY app /app/
ENTRYPOINT [ "/app/app" ]

为了能够使用这个Docker文件，我必须先建立一个应用程序：

$ go build -o app

然后再建立镜像：

$ docker build  . -f Dockerfile_1
Sending build context to Docker daemon  22.84MB
Step 1/4 : FROM golang:buster
---> f8c6c6bf3e26
Step 2/4 : WORKDIR /app
---> Running in 62eb8791ace1
Removing intermediate container 62eb8791ace1
---> d586151d2813
Step 3/4 : COPY app /app/
---> 25b4f091cba7
Step 4/4 : ENTRYPOINT [ "/app/app" ]
---> Running in 7853090f8c3b
Removing intermediate container 7853090f8c3b
---> 0e3d3835a61b
Successfully built 0e3d3835a61b

我想启动它，但我需要知道镜像的名称。我可以用 docker images 来找到它：

$ docker images
REPOSITORY              TAG               IMAGE ID       CREATED          SIZE
<none>                  <none>            0e3d3835a61b   48 seconds ago   739MB
excalidraw/excalidraw   latest            d6392f9c5191   2 days ago       34.8MB
golang                  buster            f8c6c6bf3e26   4 days ago       720MB
moby/buildkit           buildx-stable-1   4dc9f4d5bf89   2 weeks ago      168MB
slimdotai/dd-ext        0.8.2             56f11b815b6c   7 months ago     153MB

我可以看到镜像的名称是 <none> 。我可以用它来启动容器：

$ docker run 0e3d3835a61b
exec /app/app: exec format error

会发生什么？回到Dockerfile_1，看一下它。这里面有几个问题：

我正在为OSX构建应用程序，但我想在Linux中运行它。
我没有指定我使用的是哪个Go版本。在本地，我可以使用Go 1.16，但镜像上有最新的Go版本（目前是1.20）。
我的应用程序使用9999端口，但我没有公开它。
我的镜像没有名称和版本。

多阶段构建

为了解决第一个问题，我可以使用多阶段构建。我将创建一个新的Dockerfile（Dockerfile_2）：

ARG GO_VERSION=1.20.3
FROM golang:${GO_VERSION}-buster as builder
WORKDIR /app
COPY . /app/
RUN go mod tidy
RUN go build -o app
FROM debian:buster as final
WORKDIR /app
COPY --from=builder /app/app /app/
EXPOSE ${PORT:-9999}
ENTRYPOINT [ "/app/app" ]

在新的Docker文件中，我用 ARG 指令处理Go版本。你不一定要这样做。你也可以对版本进行硬编码。但有了 ARG ，你可以在构建镜像时覆盖它。

构建一个应用程序被移到第一个或 builder 阶段。当应用程序构建完成后，它被复制到第二阶段或 final 阶段。在这两个阶段，我都使用Debian Buster。它是一个小的映像，对我的应用程序来说已经足够了。我还暴露了一个端口，设置默认值为9999。

现在我可以建立镜像了：

$ docker build . -t rnemet/echo:0.0.1 -f Dockerfile_2
Sending build context to Docker daemon  22.84MB
Step 1/11 : ARG GO_VERSION=1.20.3
Step 2/11 : FROM golang:${GO_VERSION}-buster as builder
1.20.3-buster: Pulling from library/golang
Digest: sha256:413cd9e04db86fee3f5c667de293f37d9199b74880771c37dcfeb165cefaf424
Status: Downloaded newer image for golang:1.20.3-buster
---> f8c6c6bf3e26
Step 3/11 : WORKDIR /app
---> Using cache
---> d586151d2813
Step 4/11 : COPY . /app/
---> 331d288c0f19
Step 5/11 : RUN go mod tidy
---> Running in 2657122aa7fe
go: downloading github.com/prometheus/client_golang v1.14.0
...snip...
go: downloading github.com/rogpeppe/go-internal v1.8.0
Removing intermediate container 2657122aa7fe
---> 48197d27f8ab
Step 6/11 : RUN go build -o app
---> Running in 7e593ea7ffb4
Removing intermediate container 7e593ea7ffb4
---> d086687f4f17
Step 7/11 : FROM debian:buster
buster: Pulling from library/debian
4e2befb7f5d1: Already exists
Digest: sha256:235f2a778fbc0d668c66afa9fd5f1efabab94c1d6588779ea4e221e1496f89da
Status: Downloaded newer image for debian:buster
---> 4591634d6289
Step 8/11 : WORKDIR /app
---> Running in a79e19ed4815
Removing intermediate container a79e19ed4815
---> b316081e2c13
Step 9/11 : COPY --from=builder /app/app /app/
---> 6fdc4f84223f
Step 10/11 : EXPOSE ${PORT:-9999}
---> Running in e5bf1bc188b9
Removing intermediate container e5bf1bc188b9
---> 8da39c1270c4
Step 11/11 : ENTRYPOINT [ "/app/app" ]
---> Running in 421008b145ee
Removing intermediate container 421008b145ee
---> 159ca8b29354
Successfully built 159ca8b29354
Successfully tagged rnemet/echo:0.0.1

现在我可以看到镜像有名称和版本：

docker images
REPOSITORY              TAG               IMAGE ID       CREATED          SIZE
rnemet/echo             0.0.1             159ca8b29354   4 minutes ago    133MB
<none>                  <none>            d086687f4f17   4 minutes ago    1.17GB
<none>                  <none>            0e3d3835a61b   40 minutes ago   739MB
excalidraw/excalidraw   latest            d6392f9c5191   2 days ago       34.8MB
golang                  1.20.3-buster     f8c6c6bf3e26   5 days ago       720MB
golang                  buster            f8c6c6bf3e26   5 days ago       720MB
moby/buildkit           buildx-stable-1   4dc9f4d5bf89   2 weeks ago      168MB
debian                  buster            4591634d6289   2 weeks ago      114MB
slimdotai/dd-ext        0.8.2             56f11b815b6c   7 months ago     153MB

而且我可以运行这个容器：

$ docker run rnemet/echo:0.0.1
2021/12/05 20:56:05 Starting server on port 9999

如果你想覆盖Go版本，你可以这样做：

$ docker build . -t rnemet/echo:0.0.1 -f Dockerfile_2 --build-arg GO_VERSION=1.16.10

分层和缓存

再看一下Dockerfile_2。Dockerfile中的每个条目都创建了一个新的层，每个层都被缓存了。如果你改变了Dockerfile中的内容，Docker将重建被改变的层和所有后续层。

看一下 docker build 命令的输出：

Sending build context to Docker daemon  22.84MB
Step 1/11 : ARG GO_VERSION=1.20.3
Step 2/11 : FROM golang:${GO_VERSION}-buster as builder
1.20.3-buster: Pulling from library/golang
Digest: sha256:413cd9e04db86fee3f5c667de293f37d9199b74880771c37dcfeb165cefaf424
Status: Downloaded newer image for golang:1.20.3-buster
---> f8c6c6bf3e26
Step 3/11 : WORKDIR /app
---> Using cache                            <=== here cache is used
---> d586151d2813
Step 4/11 : COPY . /app/
---> 331d288c0f19
Step 5/11 : RUN go mod tidy
---> Running in 2657122aa7fe
go: downloading github.com/prometheus/client_golang v1.14.0
...snip...
go: downloading github.com/rogpeppe/go-internal v1.8.0
Removing intermediate container 2657122aa7fe
---> 48197d27f8ab

我的目标是编写基本相同的图层。这样一来，我就可以使用缓存，更快地建立镜像。在第4步，我把所有文件从我的本地目录复制到镜像上。乍一看，这的确有道理。但是，如果我改变了一个README文件，或者任何其他与应用程序无关的文件，我将重建整个镜像。这就不妙了。所以，我要么指定复制什么，要么不复制什么。

对于第二个选择，我可以使用 .dockerignore 文件。它类似于 .gitignore 文件。它包含一个不应该被复制到镜像中的文件列表：

.gitignore
.dockerignore
**/compose*
Dockerfile
License
Makefile
Readme.md

那么 COPY . /app/ 将只复制文件，不在 .dockerignore 文件中。

让我们再考虑一件事。在第5步，我正在运行 go mod tidy 。它下载了所有的依赖项。这些依赖项并不经常改变。当它们被改变时，我应该重建这个应用程序。对于Go应用程序来说，下载依赖项并不是一个大问题，但对于其他语言来说，这可能是一个问题（想想NodeJS）。所以，让我们先处理依赖关系，然后再复制源代码。这样一来，我就用一个缓存来处理依赖关系，而不是在每次改变源代码时都重建它们。

ARG GO_VERSION=1.20.3
FROM golang:${GO_VERSION}-buster as builder
WORKDIR /app
COPY go.mod go.sum /app/
RUN go mod download -x
COPY . /app/
RUN go build -o app
FROM debian:buster
WORKDIR /app
COPY --from=builder /app/app /app/
EXPOSE ${PORT:-9999}
ENTRYPOINT [ "/app/app" ]

当最初运行 docker build . -t rnemet/echo:0.0.1 -f Dockerfile_3 会花一些时间来下载依赖项。因为我使用了选项 -x，我可以看到所有下载的依赖项。如果你觉得麻烦，你可以删除 -x 选项。如果你重新运行它，它将会快得多。而且，你会注意到，依赖关系是被缓存的。

如果你改变了源代码，依赖项就不会被再次下载。所以构建镜像的速度会快很多。

自己试试吧。比较Dockerfile_2和Dockerfile_3的构建时间。

远程缓存

在使用CI/CD时，你要么依靠CI/CD缓存的实现，要么依靠远程缓存。远程缓存是一个存储在远程位置的缓存，因此，你可以用它来加快构建速度，在不同的机器和不同的用户之间共享。

为此，我不得不使用BuildKit。它是Docker的一个新的构建工具箱。你可以像这样使用它：

docker buildx build -t rnemet/echo:0.0.1 . -f Dockerfile_3 --cache-to type=registry,ref=rnemet/echo:test --cache-from type=registry,ref=rnemet/echo:test --cache-from type=registry,ref=rnemet/echo:main [--push|--load]

如果你想使用远程缓存，请指定 --cache-to 和 --cache-from 选项。选项 --cache-to 指定了存储缓存的位置。选项 --cache-from 指定从哪里获得缓存。你可以为这两个选项指定多个位置。如果你为 --cache-from 指定了多个位置，它将尝试从所有的位置获取缓存。如果它在其中一个地方找到了缓存，它就会使用它。

一个好的做法是为分支和主干创建一个缓存。在上面的例子中，我有 test 和 main 两个分支。我把 test 分支用于测试， main 用于生产。所以，我为这两个分支都建立了缓存。如果我正在建立一个 test 分支，它将尝试从 test 分支获取缓存，如果失败，它将尝试从 main 分支获取缓存。

如果你想把镜像推送到注册表，使用 --push 选项。如果你要把镜像加载到你的本地机器上，你可以使用 --load 选项。