DisturbLabel：在损失层上正则化 CNN
计算机视觉与模式识别
2016-05-03 v1
摘要
在很长一段时间里，我们通过模型正则化（包括权重衰减、模型平均、数据增强等）来应对 CNN 训练过程中的过拟合问题。本文提出 DisturbLabel，一种极其简单的算法，它在每次迭代中随机将部分标签替换为错误值。尽管故意生成错误的训练标签看似奇怪，但我们表明 DisturbLabel 通过对使用不同标签集训练的指数级数量的网络进行隐式平均，防止网络训练过拟合。据我们所知，DisturbLabel 是首个在损失层上添加噪声的工作。同时，DisturbLabel 与 Dropout 配合良好，提供互补的正则化功能。实验在几个流行的图像识别数据集上展示了具有竞争力的识别结果。
引用
@article{arxiv.1605.00055,
title = {DisturbLabel: Regularizing CNN on the Loss Layer},
author = {Lingxi Xie and Jingdong Wang and Zhen Wei and Meng Wang and Qi Tian},
journal= {arXiv preprint arXiv:1605.00055},
year = {2016}
}
备注
To appear in CVPR 2016 (10 pages, 10 figures)