鲁棒线性回归：梯度下降、早停及更多
机器学习
2023-02-01 v1 机器学习
摘要
本工作中，我们研究线性回归的梯度下降（GD）方法中早停策略对对抗攻击的鲁棒性。更确切地说，我们证明早停 GD 针对欧几里得范数对抗攻击是最优鲁棒的（相差一个绝对常数）。然而，我们表明该策略在一般马哈拉诺比斯攻击下可能任意次优。此观察与近期分类情形下的发现~\cite{Vardi2022GradientMP}一致，即 GD 可证明收敛到非鲁棒模型。为缓解该问题，我们提出改为在适配于攻击的数据变换上施加 GD 方案。该数据变换相当于采用依赖特征的学习率，并且我们证明这一修正的 GD 能够处理任意马哈拉诺比斯攻击，以及在若干条件下更一般的攻击。遗憾的是，对一般攻击选取此类适配变换可能困难。为此，我们设计了一个简单且易处理的估计量，其在总体情形下对抗风险最优（相差至多 1.1124 的乘法常数），且适用于任意范数。
引用
@article{arxiv.2301.13486,
title = {Robust Linear Regression: Gradient-descent, Early-stopping, and Beyond},
author = {Meyer Scetbon and Elvis Dohmatob},
journal= {arXiv preprint arXiv:2301.13486},
year = {2023}
}