REPAIR：用于插值修复的重归一化置换激活
机器学习
2023-09-26 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
本文考察Entezari等人（2021）的猜想，即若考虑神经网络的置换不变性，则SGD解之间的线性插值很可能不存在损失壁垒。首先，我们观察到仅依靠神经元对齐方法不足以在SGD解间建立低壁垒线性连通性，原因在于一种我们称之为方差坍缩的现象：插值深度网络的激活方差发生坍缩，导致性能不佳。接着，我们提出REPAIR（用于插值修复的重归一化置换激活），通过对此类插值网络的前激活值重新缩放来缓解方差坍缩。我们探究了该方法与归一化层选择、网络宽度及深度之间的相互作用，并证明在神经元对齐方法之上使用REPAIR可在多种架构族与任务上实现60%–100%的相对壁垒缩减。具体而言，我们报告了ResNet50在ImageNet上74%的壁垒缩减，以及ResNet18在CIFAR10上90%的壁垒缩减。
引用
@article{arxiv.2211.08403,
title = {REPAIR: REnormalizing Permuted Activations for Interpolation Repair},
author = {Keller Jordan and Hanie Sedghi and Olga Saukh and Rahim Entezari and Behnam Neyshabur},
journal= {arXiv preprint arXiv:2211.08403},
year = {2023}
}