互联网技术 / 互联网资讯 · 2024年4月5日 0

使用Docker编译Qt时的缓存优化

Docker 在使用层进行缓存方面做得很好。每个命令(例如,RUN、ADD 等)都会生成一个层,Docker 会在未来的构建中重用该层,除非发生某些变化。与往常一样,这个过程也有例外,但一般来说这是正确的。另一种类型的缓存是针对容器内的特定操作(例如编译源代码)进行缓存。

在 Screenly,我们在 Docker 容器内创建了一个 Qt 构建环境。我们创建此 Qt 构建是为了确保构建过程可重现并易于在开发人员之间共享。由于 Qt 编译过程需要很长时间,我们利用 ccache 来加速我们的 Qt 编译。实施 ccache 需要从 Docker 环境外部卷安装文件夹。

如果您是该项目的唯一开发人员,则上述步骤很有效。如果您希望能够在团队中共享缓存,会发生什么情况?

有几种方法可以在 Docker 中实现这种缓存方式。

建立共享缓存的最简单方法是按照我们在上一篇文章中所做的操作。我们使用磁盘缓存以及一些简洁的功能来加速 BuildKIT 中的缓存。然后我们压缩缓存文件并将它们分发给团队成员。这个过程不是很优雅,但它完成了工作。

如果我们想进一步自动化该过程,我们可以将检索缓存作为构建过程的一部分。这方面的一个例子可能是这样的:

RUN curl -o /tmp/build-cache.tgz https://some-domain.com/build-cache.tgz &&

tar xfz /tmp/build-cache.tgz -C /tmp &&

rm /tmp/build-cache.tgz

上面的过程很简洁,但这确实意味着有人需要定期上传构建缓存以保持缓存文件最新。此外,您需要在某个地方存储文件(例如 S3)。

如果我们可以避免手动任务并使用原生 Docker 技术来做同样的事情,那就太好了,对吧?事实证明,我们可以使用 Docker 来改进流程。我们只需要发挥我们的想象力。

正如我们在上一篇文章中展示的那样,我们可以使用多阶段构建在不同的 Docker 镜像之间复制数据。如果我们将缓存移动到专用的 Docker 映像会怎样?然后我们可以将这个镜像推送到 Docker Hub 并将其拉入构建过程。

这个过程很简单。首先在 Docker Hub 中创建两个不同的图像。打电话给他们 Screenly/build-cache 和 Screenly/build-env。在上一篇文章的基础上,我们使用这个 Dockerfile 作为基础 Screenly/build-env。

在 Dockerfile 中,我们将环境变量设置 CCACHE_DIR 为 /src/ccache. 这一步告诉 ccache 缓存驻留在 /src/ccache. 在上一篇文章中,该步骤只是将卷装入系统。但是,在这种情况下,我们想要更改此步骤,以便缓存位于之外 /src,因为这用于批量安装代码库,例如 /usr/ccache.

我们现在可以启动容器:

$ docker run –rm -t
-v ~/tmp/qt-src:/src
-v ~/tmp/qt-build:/build
-v ~/tmp/ccache:/usr/ccache
Screenly-build-env

完成编译后,您现在可以构建并推送我们的缓存映像。最终的 Dockerfile 将如下所示:

FROM scratch

COPY ccache /ccache

要构建此映像,请使用以下代码:

$ cd ~/tmp
$ docker build
-f /path/to/Dockerfile
-t Screenly/build-cache
$ docker push Screenly/build-cache

最后,您现在可以将这一层包含在 Screenly/build-env. 添加行:

COPY –from=Screenly/build-cache /ccache /usr/ccache

下次重建 Screenly/build-env 时,Docker 会自动拉下缓存。此外,您只需在刷新缓存时添加卷挂载。