Dropout 正则化的 ETF 视角

Dropout 是深度学习中一种流行的正则化技术。然而，其成功的原因仍未被完全理解。本文从框架理论的角度对 Dropout 给出了一种新的解释。通过联系模拟信道编码的最新进展，我们指出，对于具有线性编码器的某类自编码器，用 dropout 正则化优化编码器会得到一个等角紧框架（equiangular tight frame, ETF）。由于该优化是非凸的，我们添加了另一种正则化，通过最小化网络中滤波器之间的互相关来促成此类结构。我们展示了其在前馈与循环网络的卷积层和全连接层中的适用性。所有这些结果表明，dropout 与正则化线性运算的 ETF 结构之间确实存在关联。