论回归中插值对抗对抗鲁棒性的损害
机器学习
2026-01-23 v1 机器学习
统计理论
统计理论
摘要
深度神经网络（DNNs）通常包含大量参数，并被训练以达到零或接近零的训练误差。尽管存在这种插值现象，它们往往对未见数据表现出强大的泛化性能，这一现象激发了广泛的理论研究。令人欣慰的结果表明，在平方误差损失下，插值确实可能不影响极小极大收敛速率。与此同时，众所周知，DNNs 对未来输入中的对抗扰动高度脆弱。一个自然的问题随之而来：在未来的 X 攻击下，插值是否也能避免次优性能？本文在非参数回归框架下研究了插值估计器的对抗鲁棒性。一个发现是，即使在微妙的未来 X 攻击下，插值估计器也必然是次优的，而实现完美拟合会严重损害其鲁棒性。我们还揭示并讨论了高插值区域中一个有趣的现象，我们称之为简单规模诅咒。数值实验支持了我们的理论发现。
引用
@article{arxiv.2601.16070,
title = {On damage of interpolation to adversarial robustness in regression},
author = {Jingfu Peng and Yuhong Yang},
journal= {arXiv preprint arXiv:2601.16070},
year = {2026}
}