本文经AI新媒体量子位授权转载，转载请联系出处。
如何提升PyTorch“炼丹”速度？
最近，有一位名叫LoRenz Kuhn的小哥，分享了他在炼丹过程中总结的17种投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTorch中进行更改，无需引入额外的库。
不过需要注意的是，这些方法都是假设是在GPU上训练模型。
这一分享在ReddIT上得到了600的热度。
接下来，我们便从提速高低开始，依次对这些方法来做介绍。
在最好的情况下，与传统的相比，这个时间表实现了大规模的提速。不过有一个缺点，它们引入了一些额外的超参数。
在NVIDIA V100 GPU上对一些常见的语言和视觉模型进行基准测试时，使用AMP要比常规的FP32训练的速度提升2倍，最高可提升5.5倍。
还有人提出了两点建议：
1、数据变换 (用于数据增强) 可成为速度提升的另一个来源。一些只使用简单 Python 语句的变换可以通过使用 nuMba 包来加速。
2、将数据集预处理成单个文件，对速度也有好处。
除了这些，你还有哪些可以提升训练速度的方法？欢迎与我们分享~
