训练还是架构？神经网络中如何引入不变性
计算机视觉与模式识别
2021-06-21 v1
摘要
许多应用要求神经网络对输入数据的某些变换具有鲁棒性，或理想情况下具有不变性。最常见地，该需求通过扩充训练数据、使用对抗训练，或定义自动包含所需不变性的网络架构来解决。遗憾的是，后者常依赖于枚举所有可能变换的能力，这使得此类方法对无限变换集(如任意旋转或缩放)在很大程度上不可行。本工作中，我们提出一种针对群作用的、可证明不变的网络架构方法：基于固定准则从(可能为连续的)轨道中选取一个元素。简言之，我们意在将数据送入实际网络前“撤销”任何可能的变换。我们分析了此类方法的属性，将其推广到等变网络，并在若干数值示例中展示了它们在鲁棒性及计算效率上的优势。特别地，我们研究了图像相对于旋转的鲁棒性(可能仅能保持至离散化伪影限度内)，以及3D点云分类中可证明的旋转与缩放不变性。
引用
@article{arxiv.2106.10044,
title = {Training or Architecture? How to Incorporate Invariance in Neural Networks},
author = {Kanchana Vaishnavi Gandikota and Jonas Geiping and Zorah Lähner and Adam Czapliński and Michael Moeller},
journal= {arXiv preprint arXiv:2106.10044},
year = {2021}
}