对抗性脆弱性：On-Manifold 不可分离性的后果
机器学习
2024-10-10 v1 机器学习
摘要
近期研究表明，冗余数据维度是对抗性脆弱性的一个来源。然而，反之在实践中并不显现；采用降维技术并不具备预期的鲁棒性。本文我们考虑分类任务，将数据分布表述为低维流形，高/低方差特征定义流形的高/低维方向。我们认为，干净训练在离流形方向上由于广泛使用的一阶优化器（如梯度下降）中的条件不良导致收敛不佳。这种差不齐的收敛随后成为数据在流形方向不可分离时对抗性脆弱性的来源。我们为逻辑回归和二维线性网络提供了理论结果。此外，我们主张使用不受条件不良影响的二阶方法，实现更好的鲁棒性。我们进行实验，展示通过长时间训练和采用二阶方法可显著提高干净训练的鲁棒性，印证了我们的框架。此外，我们发现加入 batch-norm 层会阻碍这种鲁棒性提升。我们将其归因于传统神经网络与批归一化神经网络之间的隐式偏差差异。
引用
@article{arxiv.2410.06921,
title = {Adversarial Vulnerability as a Consequence of On-Manifold Inseparibility},
author = {Rajdeep Haldar and Yue Xing and Qifan Song and Guang Lin},
journal= {arXiv preprint arXiv:2410.06921},
year = {2024}
}