RegMixup：作为正则化器的 Mixup 可出人意料地提升准确率与分布外鲁棒性
机器学习
2023-02-08 v2 计算机视觉与模式识别
摘要
我们表明，广受赞誉的 Mixup [Zhang et al., 2018] 的有效性可进一步改善：若不是将其用作唯一的学习目标，而是将其作为标准交叉熵损失的附加正则化器来使用。这一简单改变不仅大幅提升了准确率，而且在大多数情况下，在各种协变量偏移和分布外检测实验下，显著改善了 Mixup 预测不确定性估计的质量。事实上，我们观察到 Mixup 在检测分布外样本上性能大幅退化，正如我们经验所示，可能是因为它倾向于学习在整个过程中呈现高熵的模型；使得难以区分分布内样本与分布外样本。为展示我们的方法（RegMixup）的效能，我们在视觉数据集（ImageNet 与 CIFAR-10/100）上提供了透彻的分析与实验，并将其与一系列近期用于可靠不确定性估计的方法进行比较。
引用
@article{arxiv.2206.14502,
title = {RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness},
author = {Francesco Pinto and Harry Yang and Ser-Nam Lim and Philip H. S. Torr and Puneet K. Dokania},
journal= {arXiv preprint arXiv:2206.14502},
year = {2023}
}
备注
22 pages, 18 figures