论不变性在神经网络中的益处
机器学习
2020-05-04 v1 机器学习
摘要
许多真实世界的数据分析问题表现出不变结构，而利用这种结构的模型已展现出令人印象深刻的经验性能，尤其在深度学习中。尽管文献中包含多种将不变性引入模型的方法，但理论理解尚不充分，且无法评估何时一种方法应优先于另一种。在本工作中，我们分析了深度学习中两种广泛使用的方法在存在不变性时的益处与局限：数据增强与特征平均。我们证明，使用数据增强进行训练可得到更好的风险及其梯度估计，并为使用数据增强训练的模型提供了 PAC-Bayes 泛化界。我们还表明，与数据增强相比，特征平均在与凸损失一起使用时能减小泛化误差，并收紧 PAC-Bayes 界。我们提供了这些理论结果的经验支持，包括演示了为何通过数据增强训练泛化可能不改善：所“学到的不变性”在训练分布之外失效。
引用
@article{arxiv.2005.00178,
title = {On the Benefits of Invariance in Neural Networks},
author = {Clare Lyle and Mark van der Wilk and Marta Kwiatkowska and Yarin Gal and Benjamin Bloem-Reddy},
journal= {arXiv preprint arXiv:2005.00178},
year = {2020}
}