通过元学习学习软标签
机器学习
2020-09-22 v1 计算机视觉与模式识别
机器学习
摘要
独热标签不能表示概念间柔性的决策边界,因此在其上训练的模型易于过拟合。以软标签作为目标提供正则化,但不同的软标签在优化的不同阶段可能均为最优。此外,在存在噪声标注时以固定标签训练会导致更差的泛化。为应对这些局限,我们提出一种框架,将标签视为可学习参数,并与其模型参数一同优化。所学标签持续适应模型状态,从而提供动态正则化。当应用于监督图像分类任务时,我们的方法在不同数据集与架构上均带来一致增益。例如,动态学习的标签在 CIFAR100 上使 ResNet18 提升 2.1%。当应用于含噪声标签的数据集时,所学标签纠正了标注错误,并以显著幅度优于最先进水平。最后,我们表明所学标签捕捉了类间的语义关系,从而改进了用于下游蒸馏任务的教师模型。
引用
@article{arxiv.2009.09496,
title = {Learning Soft Labels via Meta Learning},
author = {Nidhi Vyas and Shreyas Saxena and Thomas Voice},
journal= {arXiv preprint arXiv:2009.09496},
year = {2020}
}