ACDC：一种结构化高效的线性层

线性层是深度学习表示中最普遍的模块之一。然而，它需要 $O(N^2)$ 个参数和 $O(N^2)$ 次运算。这些开销在移动应用中可能难以承受，或在许多领域中阻碍模型扩展。在此，我们引入了一个深度、可微、全连接的神经网络模块，它由参数对角矩阵 $\mathbf{A}$ 和 $\mathbf{D}$ 以及离散余弦变换 $\mathbf{C}$ 组成。结构为 $\mathbf{ACDC^{-1}}$ 的核心模块具有 $O(N)$ 个参数，并产生 $O(N \log N )$ 次运算开销。我们给出了理论结果，展示了 ACDC 层的深度级联如何逼近线性层。然而，ACDC 是一个独立模块，可以与任何其他类型的模块组合使用。在我们的实验中，我们展示了它确实可以成功地与卷积神经网络中用于图像识别的 ReLU 模块交替使用。我们的实验还研究了这些结构化模块训练中的关键因素，包括初始化和深度。最后，本文还建立了深度学习中使用的结构化线性变换与傅里叶光学领域之间的联系，阐明了原则上如何利用透镜和衍射元件实现 ACDC。