基于分组与自注意力抑制误标数据
计算机视觉与模式识别
2020-10-30 v1
摘要
深度网络在大规模干净数据上取得优异结果，但在含噪标签下学习时性能显著下降。为抑制误标数据的影响，本文提出一个概念简单而高效的训练模块，称为注意力特征混合（Attentive Feature Mixup, AFM），其通过小组内样本交互，对干净样本给予更多关注、对误标样本给予更少关注。具体而言，该即插即用的 AFM 首先利用 group-to-attend 模块构建组并为组内样本分配注意力权重，随后使用带注意力权重的 mixup 模块插值出大量抑制噪声的样本。AFM 对噪声鲁棒深度学习具有若干可取优势：（i）不依赖任何假设与额外干净子集；（ii）通过大量插值，无用样本比例相较原始噪声比例显著降低；（iii）它将插值权重与分类器联合优化，借助低注意力权重抑制误标数据影响。（iv）它部分继承 mixup 的邻域风险最小化以缓解过拟合，同时通过从 mixup 邻域分布中围绕误标数据采样更少的特征-目标向量来改进之。大量实验表明，AFM 在两个具挑战性的真实世界噪声数据集 Food101N 与 Clothing1M 上取得最先进（SOTA）结果。代码将发布于 https://github.com/kaiwang960112/AFM。
引用
@article{arxiv.2010.15603,
title = {Suppressing Mislabeled Data via Grouping and Self-Attention},
author = {Xiaojiang Peng and Kai Wang and Zhaoyang Zeng and Qing Li and Jianfei Yang and Yu Qiao},
journal= {arXiv preprint arXiv:2010.15603},
year = {2020}
}
备注
This is a novel noisy-robust learning method