作为方向性对抗训练的 MixUp
机器学习
2019-06-18 v1 机器学习
摘要
本文中，我们从对抗训练的角度解释 MixUp 的作用机制。我们引入一类新的对抗训练方案，称之为方向性对抗训练（DAT）。简言之，DAT 方案将训练样本沿另一样本方向扰动，但以保持其原始标签作为训练目标。我们证明 MixUp 等价于 DAT 的一个特殊子类，因其具有相同的期望损失函数且渐近对应于同一优化问题。该理解不仅有助于解释 MixUp 的有效性，还揭示了一类更一般的 MixUp 方案，我们称之为 Untied MixUp。我们证明 Untied MixUp 方案族等价于整个 DAT 方案类。我们通过实验证实了优于 MixUp 的 Untied MixUp 方案的存在。
引用
@article{arxiv.1906.06875,
title = {MixUp as Directional Adversarial Training},
author = {Guillaume P. Archambault and Yongyi Mao and Hongyu Guo and Richong Zhang},
journal= {arXiv preprint arXiv:1906.06875},
year = {2019}
}
备注
12 pages, 1 figure, submitted to NeurIPS 2019