LUMix：通过更好建模标签不确定性改进 Mixup
计算机视觉与模式识别
2022-11-30 v1 机器学习
摘要
现代深度网络在带噪样本与正则化技术训练下可获更好泛化。Mixup 与 CutMix 已被证明是有效的数据增强方法，有助于避免过拟合。先前基于 Mixup 的方法线性组合图像与标签以生成额外训练数据。然而，若目标未占据整幅图像（如图 1 所示），此举存在问题。即便对人类而言，正确分配标签权重也十分困难，且无明显准则可衡量之。为应对该问题，本文提出 LUMix，其通过在训练中引入标签扰动来建模此类不确定性。LUMix 十分简单，仅需数行代码即可实现，并可普遍应用于任何深度网络（例如 CNNs 与 Vision Transformers），计算开销极小。大量实验表明，我们的 LUMix 能在 ImageNet 上持续提振具有广泛多样性与容量的网络性能，例如小模型 DeiT-S 提升 ，大变体 XCiT-L 提升 。我们还证明 LUMix 在 ImageNet-O 与 ImageNet-A 评测中可带来更好鲁棒性。源代码见 \href{https://github.com/kevin-ssy/LUMix}{此处}
引用
@article{arxiv.2211.15846,
title = {LUMix: Improving Mixup by Better Modelling Label Uncertainty},
author = {Shuyang Sun and Jie-Neng Chen and Ruifei He and Alan Yuille and Philip Torr and Song Bai},
journal= {arXiv preprint arXiv:2211.15846},
year = {2022}
}