用于表示正则化的特征增长
计算机视觉与模式识别
2017-05-30 v1
摘要
Softmax 损失广泛应用于深度神经网络的多分类任务中,其中每个类别由一个权重向量表示,一个样本由一个特征向量表示,且当模型正确分类样本时,该特征向量在正确类别的权重向量上具有最大投影。为确保泛化能力,缩小权重范数的权重衰减常被用作正则化项。与特征固定且仅权重可调的传统学习算法不同,在深度学习的表示学习中,特征也是可调的。因此,我们提出特征增长来同样正则化表示学习,它在样本能被正确分类时偏好具有大范数的特征向量。通过特征增长,特征向量沿其对应权重向量的方向被进一步推离原点,从而实现了更好的类间可分性。此外,所提的特征增长通过使小特征范数比大特征范数增长得更快,鼓励沿权重向量方向的类内紧凑性。在 MNIST、CIFAR10 和 CIFAR100 上的实验结果表明,特征增长能够提升泛化能力。
引用
@article{arxiv.1705.10284,
title = {Feature Incay for Representation Regularization},
author = {Yuhui Yuan and Kuiyuan Yang and Chao Zhang},
journal= {arXiv preprint arXiv:1705.10284},
year = {2017}
}