深度自编码器：从理解到泛化保证
机器学习
2021-11-25 v3 群论
机器学习
摘要
深度学习的一大谜团仍是当模型参数数量大于训练样本数量时方法的泛化能力。本文中，我们朝更好理解深度自编码器（AEs）的底层现象迈出一步，AEs 是学习压缩、可解释和结构化数据表示的主流深度学习方案。具体而言，我们通过利用 AEs 的连续分段仿射结构来解释其如何逼近数据流形。我们对 AEs 的重新表述为其映射、重构保证以及常用正则化技术的解释提供了新见解。我们利用这些发现推导了两种新正则化方法，使 AEs 能捕捉数据中的固有对称性。我们的正则化利用变换学习群的最新进展，使 AEs 能在不显式定义流形底层群的情况下更好地逼近数据流形。在数据的对称性可由李群解释的假设下，我们证明这些正则化确保了相应 AEs 的泛化。一系列实验评估表明，我们的方法优于其他最先进的正则化技术。
引用
@article{arxiv.2009.09525,
title = {Deep Autoencoders: From Understanding to Generalization Guarantees},
author = {Romain Cosentino and Randall Balestriero and Richard Baraniuk and Behnaam Aazhang},
journal= {arXiv preprint arXiv:2009.09525},
year = {2021}
}