AutoDO：基于可扩展概率隐微分处理带标签噪声偏置数据的鲁棒 AutoAugment
计算机视觉与模式识别
2021-03-15 v2 人工智能
机器学习
摘要
AutoAugment 引发了人们对深度学习模型自动增强方法的兴趣。这些方法为训练数据估计图像变换策略，以改进对测试数据的泛化。尽管近期论文朝着降低策略搜索复杂度的方向发展，我们表明这些方法在应用于有偏且含噪声的数据时并不鲁棒。为克服这些局限，我们将 AutoAugment 重新表述为广义自动数据集优化（AutoDO）任务，最小化测试数据与失真训练数据集之间的分布偏移。在我们的 AutoDO 模型中，我们显式估计一组逐点超参数，以灵活改变训练数据的分布。特别地，我们包含用于增强、损失权重和软标签的超参数，它们使用隐微分联合估计。我们利用 Fisher 信息对该框架给出理论概率解释，并表明其复杂度随数据集大小线性缩放。我们在 SVHN、CIFAR-10/100 和 ImageNet 分类上的实验表明，相比先前方法，对带标签噪声的偏置数据集有最高 9.3% 的提升，且重要的是，对代表性不足的 SVHN 类别有最高 36.6% 的增益。
引用
@article{arxiv.2103.05863,
title = {AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation},
author = {Denis Gudovskiy and Luca Rigazio and Shun Ishizaka and Kazuki Kozuka and Sotaro Tsukizawa},
journal= {arXiv preprint arXiv:2103.05863},
year = {2021}
}
备注
Accepted to CVPR 2021. Preprint