用于松弛 Mixup 中局部线性约束的对抗混合策略
计算与语言
2021-09-16 v1 机器学习
摘要
Mixup 是近期针对当前深度分类网络的一种正则化器。通过在成对样本及其标签的凸组合上训练神经网络，其对模型输入空间施加局部线性约束。然而，此类严格线性约束常导致欠拟合，从而削弱正则化效果。值得注意的是，在资源极度有限时该问题更为严重。为解决这些问题，我们提出对抗混合策略（AMP），其以 min-max-rand 形式组织，以松弛 Mixup 中的局部线性约束。具体而言，AMP 向混合系数而非样本添加小的对抗扰动。由此，在合成样本与合成标签之间注入了轻微非线性。通过在这些数据上训练，深度网络得到进一步正则化，从而取得更低的预测错误率。在五个文本分类基准与五个骨干模型上的实验经验表明，我们的方法相较 Mixup 变体显著降低了错误率（最高达 31.3%），尤其在低资源条件下（最高达 17.5%）。
引用
@article{arxiv.2109.07177,
title = {Adversarial Mixing Policy for Relaxing Locally Linear Constraints in Mixup},
author = {Guang Liu and Yuzhao Mao and Hailong Huang and Weiguo Gao and Xuan Li},
journal= {arXiv preprint arXiv:2109.07177},
year = {2021}
}
备注
This paper is accepted to appear in the main conference of EMNLP2021