对抗训练线性回归中的意外现象
机器学习
2022-10-21 v2 密码学与安全
机器学习
信号处理
统计理论
统计理论
摘要
最先进的机器学习模型可能对对抗性构造的极小输入扰动十分脆弱。对抗训练是防御此类样本的有效方法。其被表述为一个极小极大问题，在训练数据被最坏情况攻击破坏时搜索最佳解。对于线性回归问题，对抗训练可表述为一个凸问题。我们利用该重构做出两项技术贡献：首先，我们将训练问题表述为鲁棒回归的一个实例，以揭示其与参数收缩方法的联系，具体而言，ℓ∞-对抗训练产生稀疏解。其次，我们研究过参数化机制下的对抗训练，即当参数多于数据时。我们证明带有小扰动的对抗训练给出具有最小范数且插值训练数据的解。岭回归和lasso在其正则化参数趋于零时逼近此类插值解。相比之下，对于对抗训练，向插值机制的转变是突发的且发生于非零扰动值处。该结果经证明并以数值示例说明。
引用
@article{arxiv.2205.12695,
title = {Surprises in adversarially-trained linear regression},
author = {Antônio H. Ribeiro and Dave Zachariah and Thomas B. Schön},
journal= {arXiv preprint arXiv:2205.12695},
year = {2022}
}