虽然大多数深度学习模型都是在 Linux 系统上训练的,但 Windows 也是一个非常重要的系统,也可能是很多机器学习初学者更为熟悉的系统。要在 Windows 上开发模型,首先当然是配置开发环境。Kaggle Master 及机器学习实践者 AbHinand 立足于自己的实践,给出了一种简单易行的 Windows 深度学习环境配置流程。
本文将介绍在 Windows 计算机上配置深度学习环境的全过程,其中涉及安装所需的工具和驱动软件。出人意料的是,即便只是配置深度学习环境,任务也不轻松。你很有可能在这个过程中犯错。我个人已经很多次从头开始配置深度学习环境了,但是通常是在对程序员更友好的操作系统 Linux 中。
而对于 Windows 操作系统,没有多少文章详细解释这一过程。所以我打算自己来试试。这些天,经过多次试错之后,我终于找到了解决方案。这个方法不仅能够配置成功,还比我见过的其它教程简单得多。
本教程为谁而写,以及为什么要用 Windows?
相信我,我自己也不喜欢在 Windows 上鼓捣 CUDA。但我们常常遇到这种情况:开发者经常需要在并非深度学习或程序开发专用的笔记本电脑或更强大的硬件上工作。在这种情况下,你并不总能避免使用 Windows。如果你遇到这种情况,或者正好拥有一台 Windows 计算机,又或者还不能熟练使用 Linux,那么这份指南肯定能帮到你。
硬件和软件的最低要求
如果你要按照本指南操作并且计划使用 GPU,你必须使用英伟达 GPU。
开发深度学习应用涉及到训练神经网络,这自然需要执行大量计算。也因此,我们需要越来越多的并行运算,而 GPU 正好能够满足我们的需求。这也是当前 GPU 需求旺盛的主要原因之一。大多数深度学习框架都自带 GPU 加速支持,这让开发者和研究者无需执行任何 GPU 编程就能在几分钟内使用 GPU 进行计算。
大部分这些框架都(只)支持 CUDA,而这只能在英伟达 GPU 上使用,这也是你需要使用英伟达 GPU 的原因。但是,使用 AMD 的 GPU 也不是不可能。
不过,就算你没有 GPU,也依然可以继续本教程。但为了有效进行深度学习,至少你要有好用的 CPU、内存和存储空间。
我的硬件&Mdash;&Mdash;笔记本电脑的配置如下:
CPU&Mdash;&Mdash;AMD Ryzen 7 4800HS 8C -16T@ 4.2GHz on TuRbo
RAM&Mdash;&Mdash;16 GB DDR4 RAM@ 3200MHz
GPU&Mdash;&Mdash;NVIDIA GeFoRce RTX 2060 Max-Q @ 6GB GDDR6 显存
对于硬件配置,我推荐至少使用 4 核 2.6 GHz 的 CPU、16GB 内存和 6GB 显存的英伟达 GPU。
另外,对于本教程,你当然需要使用 Windows 10 系统。我也假设你对 Python 软件包和环境具备基本认知。不管怎样,后面都会给出解释。
推荐使用的 Windows 版本是最新的 64 位 Windows 10 稳定版。
本教程假设你的操作系统是刚装好的,没有执行过额外的修改。不过只要你知道自己在做什么,依然可以参考本教程。
安装 Python 和所需工具
第一步当然是安装 Python。我建议使用 mini-Conda 来安装 Python。先给刚入门的新手解释一下原因。
Conda 是一个软件包管理工具,可以帮助你安装、管理和移除各种不同的软件包。不过 Conda 并不是唯一的选择,还有 pip。这里我们选择 Conda 的原因是在 Windows 上使用它更简单直接。
Anaconda 和 mini-Conda 都是 Conda 的软件发行版,其中预安装了一些非常有用的数据科学 / 机器学习软件包,能节省很多时间。Anaconda 包含 150 多个在数据科学和机器学习中有用的软件包,基本上包含了你可能需要的一切,而 mini-Conda 仅包含一些必需的工具和软件包。
要安装 mini-Conda,请访问:
下载 Windows 64 位版本的 Python3 安装工具,然后像安装其它 Windows 软件一样安装它。一定要勾选询问你是否要将 Conda 和 Python 加入到 PATH 的勾选框。
现在你可以通过以下命令检查 Conda 和 Python 是否安装成功。如果安装成功,则会显示版本号;否则你可能需要再次正确安装 mini-Conda 并将其加入到 PATH。
下一步是安装 jupyter-notebook,请在命令行界面使用以下命令:
你可以通过运行 jupyter notebook 来验证安装,这会帮你在浏览器上打开 Jupyter Notebook。
设置开发环境
这一步很重要,但很多人会忽视它。使用 Anaconda 这种包含所有已知软件包的工具是可以理解的,但如果要开发自己的项目,真正构建一些东西,你可能还是需要一个专门针对该项目或你的工作性质的定制开发环境。使用专门虚拟环境的另一大优势是你可以将软件包与全局设置隔离开。这样,就算你在该环境中使用软件包时搞错了,你也可以轻松地丢弃它们,而不对全局软件包产生任何影响。
这也能让你灵活地使用任何之前版本的 Python 创建环境。这样,你就可以避免使用那些还不稳定的新特性,之后再根据支持情况选择是否升级。
创建 Conda 环境还算简单。为了方便解释,我创建了一个名为 tensorflow 的环境,你可以将其改为任何名称。我将使用 Python 3.7,因为我知道 TensorFlow 对其有很好的支持。顺便一提,这将是安装 TensorFlow 的位置,我还会创建一个名为 Torch 的环境来安装 PyTorch。
环境创建完成之后,你可以使用以下命令进入该环境,其中的 tensorflow 只是我们之前提供给该环境的名称。
进入环境之后,你会在提示框的左边看到类似这样的信息:
如果你没在 PowerShell 上看到这个信息,那么你可能需要先在 PowerShell 初始化 conda 一次:
然后,你可能会在左边看到 (base),如上图所示,此时你已不在任何环境中。之后,你再进入任何环境,你应该都会看见环境名。
此外,你还可以在环境中安装 nb 工具,并将其链接到我们之前安装的 Jupyter Notebook。
要将该环境注册到 Jupyter Notebook,可运行以下命令:
要退出 Conda 环境,则运行以下命令:
现在按照同样的步骤创建一个名为 Torch 的环境:
如果环境设置成功,你可以在环境列表中看到它们。
要验证每个环境是否都已安装了各自的软件包,你可以进入各个环境,执行 conda list,这会显示该环境中已安装的所有软件包。
不要因为这个列表很长而感到困扰。Conda 已经妥善地处理了主要部分和依赖包。
一些 GPU 术语
在安装 GPU 相关软件之前,我们有必要了解这些软件是什么,以及你需要它们的原因。
GPU 驱动:顾名思义,GPU 驱动是让操作系统及程序能使用 GPU 硬件的软件。游戏玩家肯定很熟悉这个。如果你喜欢打游戏,你可能需要让这个软件保持最新以获得最好的游戏体验。
CUDA:简单来说,这是英伟达开发的一个编程接口层,能让你调用 GPU 的指令集及其并行计算单元。
自 2010 年代末的 GeForce 8 系列 GPU 以来,几乎所有 GPU 都兼容 CUDA。要想了解你的 GPU 是否启用 CUDA,可以访问英伟达的网站。
举个例子,如果你有一台消费级 GPU,不管是 GeForce 系列还是 Titan 系列,你都可以在下图中看到你的 GPU 是否支持 CUDA。
数据截至 2020 年 9 月,截图仅含部分型号。
如果你的电脑是笔记本,你应该看右边的列表;如果你的电脑是台式机,你显然就该看左边的列表。
之前已经提到,我的 GPU 是右侧列表中的 RTX 2060 Max-Q。另外,你不必在意显卡型号名称是否与该列表中的名称完全匹配,Max-Q 和 Super 的底层架构一样,只在 TDP、CUDA 核及张量核数量方面有一些差异。
比如,不管你的 GPU 是 RTX 2080 Super 还是 2080 Max-Q 又或是 2080 Super Max-Q,看列表中的 RTX 2080 就够了。但如果你的 GPU 是 RTX 2080Ti 或其它加了 Ti 的型号,则说明你的 GPU 是该系列中最高端的那一款,这些 GPU 通常在显存大小和 CUDA 核及张量核数量方面更具优势。
截至 2020 年 9 月,要使用 TensorFlow 2.0,显卡计算能力必须高于 3.5,但建议使用计算能力至少为 6 的显卡以获得更好的体验。TensorFlow 2.0 还需要 CUDA 10 版本,而这又进一步要求驱动版本至少为 418.x。
PyTorch 需要的 CUDA 版本至少为 9.2,但也支持 10.1 和 10.2。所需的计算能力至少要高于 3.0。
CuDNN:即 CUDA Deep Neural Network 软件库,这是一个用于深度神经网络的 GPU 加速原语库。cuDNN 为前向和反向卷积、池化、归一化和激活层等标准例程提供了经过高度微调的实现。
(可选)TensorRT:NVIDIA TensorRT 是一套用于高性能深度学习接口的 SDK。其包含深度学习接口优化器和运行时优化器,能为深度学习接口应用提供低延迟和高通量的特性。
安装 GPU 驱动
首先,你需要搞清楚所使用的 GPU 型号,而且你的 GPU 必须启用了 CUDA。
如果你还没有安装驱动,你可能需要运行一次 Windows 更新,它会自动处理有用软件的安装过程,比如 NVIDIA 控制面板。
NVIDIA 控制面板就绪之后,你可以在开始菜单打开它,也可以右键点击桌面,然后选择 NVIDIA 控制面板。
打开之后,你可以点击「帮助&RaRR;系统信息」来查看 GPU 驱动版本。驱动版本号列在「细节」窗口的顶部。
如上图所示,我的驱动版本是 456.x,远超过 418.x 的最低要求,所以我不必安装新驱动。
但你的电脑可能不是这样的。要安装最新版的驱动,可访问,然后输入 GPU 信息,下载合适的驱动。
驱动下载完成后,运行安装包,选择快速安装会更轻松。驱动安装完成之后,可使用 NVIDIA 控制面板进行验证。
另一个安装驱动的方法是使用 NVIDIA 的 GeForce Experience 应用程序。只要你购买的是主打游戏的电脑,应该都预装了该软件。安装过程很简单。
这一步是可选的。如果你已经按照上面的步骤安装了驱动,或你的电脑没有预装该软件,那就不用在乎这个步骤。
你可在这里下载该程序,然后跟着安装流程将其安装到电脑上。安装完成,打开它,进入驱动选项卡,检查更新并安装新驱动。你也可以在该应用中查看驱动的版本号。
GeForce Experience 演示
现在安装驱动过程中最重要的步骤已经完成,你可以选择手动安装 CUDA 工具包,也可以选择在安装 TensorFlow 或 PyTorch 时留给 Conda 来安装(强烈推荐后者)。
如果决定手动安装,你可以从这里下载安装包,然后跟着指示操作即可。
安装 CUDA 工具包
CUDA 工具包装好之后,你可以在 cmd 或 PowerShell 中执行 NVIDIA-S