引言
卷积是神经网络的核心计算之一,它在计算机视觉方面的进展引领了深度学习的热潮。卷积的变种丰富,计算复杂,神经网络运行时大部分时间都耗费在计算卷积,网络模型的发展在不断增加网络的深度,因此优化卷积计算就显得尤为重要。
随着技术的发展,研究人员提出了多种优化算法,包括 IM2col、WinogRad 等等。本文首先定义卷积神经网络的概念,继而简要介绍几种常见的优化方法,并讨论作者在该领域的一些经验。
卷积神经网络的概念
卷积神经网络(Convolution NeuRal NetwoRks, CNN)的概念拓展自信号处理领域的卷积。信号处理的卷积定义为
