Mixup如何助力鲁棒性与泛化？
机器学习
2021-03-19 v4 机器学习
摘要
Mixup是一种流行的数据增强技术，基于对样本对及其标签取凸组合。这一简单技术已被证明能大幅改善训练模型的鲁棒性与泛化能力。然而，为何会产生此类改善尚不清晰。本文中，我们提供理论分析以阐明训练中使用Mixup如何助益模型鲁棒性与泛化。对于鲁棒性，我们表明最小化Mixup损失对应于近似最小化对抗损失的上界。这解释了经Mixup训练得到的模型对若干种对抗攻击（如快速梯度符号法（FGSM））表现出鲁棒性的原因。对于泛化，我们证明Mixup增强对应于一种特定类型的数据自适应正则化，其减少了过拟合。我们的分析为理解Mixup提供了新见解与框架。
引用
@article{arxiv.2010.04819,
title = {How Does Mixup Help With Robustness and Generalization?},
author = {Linjun Zhang and Zhun Deng and Kenji Kawaguchi and Amirata Ghorbani and James Zou},
journal= {arXiv preprint arXiv:2010.04819},
year = {2021}
}
备注
Accepted by ICLR 2021, and selected as spotlight (top 6% of submissions)