通过对抗训练与预训练改进分布外泛化
机器学习
2021-05-25 v1
摘要
近来，学习一个在分布外（OOD）数据上泛化良好的模型引起了机器学习界的极大关注。在本文中，在通过 Wasserstein 距离定义 OOD 泛化之后，我们从理论上表明对输入扰动鲁棒的模型在 OOD 数据上泛化良好。受先前对抗训练有助于提升输入鲁棒性这一发现的启发，我们从理论上表明对抗训练的模型在 OOD 数据上具有收敛的超额风险，并在图像分类与自然语言理解任务上实证验证。此外，在先预训练再微调的范式下，我们从理论上表明对输入扰动更鲁棒的预训练模型为下游 OOD 数据上的泛化提供了更好的初始化。实证上，微调后，这一来自对抗预训练的更好初始化的模型也具有更好的 OOD 泛化。
引用
@article{arxiv.2105.11144,
title = {Improved OOD Generalization via Adversarial Training and Pre-training},
author = {Mingyang Yi and Lu Hou and Jiacheng Sun and Lifeng Shang and Xin Jiang and Qun Liu and Zhi-Ming Ma},
journal= {arXiv preprint arXiv:2105.11144},
year = {2021}
}
备注
published in ICML2021