深度神经网络在哪些方面具有不变性，以及我们应如何度量？
机器学习
2022-10-11 v1 计算机视觉与模式识别
摘要
人们常说深度学习模型对某种特定变换是“不变”的。然而，这一表述的含义强烈依赖于其所处的语境。本文探讨深度学习模型不变性与等变性的本质，以期在形式化层面上更好地理解它们实际捕获这些概念的方式。我们引入一族不变性与等变性度量，使我们能够以区别于损失或准确率等其他度量的方式量化这些性质。我们利用所提度量更好地理解将不变性构建进网络的两种最流行方法：数据增强与等变层。我们就深度学习模型中的不变性与等变性得出一系列结论，从以预训练权重初始化模型是否影响训练后模型的不变性，到通过训练习得的不变性可泛化至分布外数据的程度。
引用
@article{arxiv.2210.03773,
title = {In What Ways Are Deep Neural Networks Invariant and How Should We Measure This?},
author = {Henry Kvinge and Tegan H. Emerson and Grayson Jorgenson and Scott Vasquez and Timothy Doster and Jesse D. Lew},
journal= {arXiv preprint arXiv:2210.03773},
year = {2022}
}
备注
To appear at NeurIPS 2022