组结构对抗训练
机器学习
2021-06-22 v1 机器学习
摘要
针对输入数据扰动的鲁棒训练方法在机器学习文献中备受关注。该方向的标准方法是对抗训练，其使用对抗扰动的训练样本学习模型。然而，对抗训练在面对跨样本结构化扰动（如普遍存在于基因表达水平等生物数据中的通用与组稀疏偏移）时表现次优。本工作中，我们致力于缩小该最优性差距，提出组结构对抗训练 (Group-Structured Adversarial Training, GSAT)，其学习对跨样本结构化扰动鲁棒的模型。我们将 GSAT 表述为最小化组结构最优传输代价的非凸凹极小极大优化问题。具体而言，我们关注 GSAT 在由组范数与核范数惩罚建模的组稀疏与秩约束扰动上的应用。为求解这些情形下的 GSAT 非光滑优化问题，我们提出一种结合梯度下降上升 (Gradient Descent Ascent, GDA) 与交替方向乘子法 (Alternating Direction Method of Multipliers, ADMM) 的新的极小极大优化算法 GDADMM。我们展示了 GSAT 框架在图像识别与计算生物学数据集上针对结构化扰动获取鲁棒性的若干应用。
引用
@article{arxiv.2106.10324,
title = {Group-Structured Adversarial Training},
author = {Farzan Farnia and Amirali Aghazadeh and James Zou and David Tse},
journal= {arXiv preprint arXiv:2106.10324},
year = {2021}
}