通过结构化标签平滑进行正则化
机器学习
2020-07-07 v2 机器学习
摘要
正则化是提升机器学习模型泛化性能的有效手段。本文关注标签平滑，一种输出分布正则化形式，它通过在训练数据中软化真实标签来防止神经网络过拟合，以惩罚过度自信的输出。现有方法通常使用交叉验证来施加这种平滑，且对所有训练数据均匀处理。本文表明，此类标签平滑会在训练数据的贝叶斯错误率中引入可量化的偏差：特征空间中高重叠、低边际似然的区域偏差较低，而低重叠、高边际似然的区域偏差较高。这些理论结果促使我们提出一个简单的数据依赖平滑目标函数，以在保持该操作作为正则化器的可取特性的同时，减轻其潜在的负面后果。我们称此方法为结构化标签平滑（SLS）。我们实现了 SLS，并在合成数据、Higgs、SVHN、CIFAR-10 和 CIFAR-100 数据集上进行了实证验证。结果证实了我们的理论见解，并展示了所提方法相较于传统标签平滑的有效性。
引用
@article{arxiv.2001.01900,
title = {Regularization via Structural Label Smoothing},
author = {Weizhi Li and Gautam Dasarathy and Visar Berisha},
journal= {arXiv preprint arXiv:2001.01900},
year = {2020}
}