深度对称自编码器的 Eckart-Young-Schmidt 视角

深度自编码器已成为各种机器学习应用的基本工具，范围从降维和偏微分方程的降阶建模到异常检测和神经机器翻译。尽管它们在经验上取得了成功，但其表达力的坚实理论基础仍然难以捉摸，特别是与经典的基于投影的技术相比。在这项工作中，我们旨在通过全面分析我们所谓的对称自编码器——文献中广泛存在的一类深度学习架构——来朝这个方向迈进一步。具体而言，我们引入了不同类别的对称架构之间的形式区分，从数学角度分析它们各自的优势与局限。例如，我们证明了具有正交归一化约束的对称自编码器的重构误差可以通过著名的 Eckart-Young-Schmidt（EYS）定理来理解。作为我们分析的副产品，我们最终发展了对称自编码器的 EYS 初始化策略，该策略基于奇异值分解（SVD）的迭代应用。为了验证我们的发现，我们进行了一系列数值实验，将我们的方法与传统的深度自编码器进行基准比较，讨论了模型设计和初始化的重要性。