趋小且趋同：简单的输出衰减带来更优性能
计算机视觉与模式识别
2021-06-15 v1
摘要
正则化与数据增强方法已被广泛使用，并日益成为深度学习训练中不可或缺的部分。致力于该方向的研究者已考量了多种可能性。但迄今为止，关于对模型输出进行正则化的讨论甚少。本文从经验观察出发，即更优性能与具有更小平均值与方差的输出分布显著相关。在大胆假设其中存在因果关系的前提下，我们提出一种新颖的正则项，称为输出衰减（Output Decay），其强制模型对每个类别分配更小且相似的输出值。尽管有违直觉，如此微小的改动却带来了性能上的显著提升。广泛的实验证明了 Output Decay 的广泛适用性、多用性与兼容性。
引用
@article{arxiv.2106.06726,
title = {Go Small and Similar: A Simple Output Decay Brings Better Performance},
author = {Xuan Cheng and Tianshu Xie and Xiaomin Wang and Jiali Deng and Minghui Liu and Ming Liu},
journal= {arXiv preprint arXiv:2106.06726},
year = {2021}
}