标签自适应正则化
机器学习
2019-08-16 v1 机器学习
摘要
近来，多种正则化技术已广泛应用于深度神经网络，如 dropout、batch normalization、data augmentation 等。这些方法主要关注权值参数的正则化以有效防止过拟合。此外，出于向标签添加随机扰动的动机，也提出了标签平滑和标签扰动等标签正则化技术。本文提出一种新颖的自适应标签正则化方法，使神经网络能够从错误经验中学习并在线更新最优标签表示。另一方面，与利用教师网络学习类别相关性的知识蒸馏相比，我们所提方法仅需极小参数增量，无需繁琐的教师网络。此外，我们在 CIFAR-10/CIFAR-100/ImageNet 数据集上评估了图像识别任务，在 AGNews/Yahoo/Yelp-Full 数据集上评估了文本分类任务。实证结果显示在所有实验设置下均有显著提升。
引用
@article{arxiv.1908.05474,
title = {Adaptive Regularization of Labels},
author = {Qianggang Ding and Sifan Wu and Hao Sun and Jiadong Guo and Shu-Tao Xia},
journal= {arXiv preprint arXiv:1908.05474},
year = {2019}
}