理解与缓解鲁棒性与准确性之间的权衡

对抗训练通过对训练集加入扰动来改进鲁棒误差（针对最坏情况扰动），但常导致标准误差（在未扰动测试输入上）的增加。先前对此权衡的解释依赖于假设：假设类中不存在同时具有低标准误差和低鲁棒误差的预测器。在本工作中，当最优线性预测器具有零标准误差和零鲁棒误差时，我们精确刻画了增广对线性回归中标准误差的影响。特别地，我们表明即使增广扰动来自最优线性预测器的无噪声观测，标准误差仍可能增加。随后我们证明，近期提出的鲁棒自训练（RST）估计器在无噪声线性回归中能在不牺牲标准误差的前提下改进鲁棒误差。在经验上，对于神经网络，我们发现采用不同对抗训练方法的 RST 在 CIFAR-10 中随机与对抗旋转以及对抗 $\ell_\infty$ 扰动下同时改进了标准误差和鲁棒误差。