对抗训练使逻辑回归中的权重损失景观更尖锐
机器学习
2021-02-08 v1 人工智能
机器学习
摘要
对抗训练因学习抵御对抗样本的鲁棒模型而受到积极研究。近期一项研究发现，当对抗训练模型的权重损失景观（即损失相对于权重的变动）较为尖锐时，其在对抗样本上的泛化性能会退化。遗憾的是，实验已表明对抗训练会使权重损失景观变尖锐，但该现象尚未得到理论阐明。因此，本文从理论层面分析此现象。作为第一步，本文证明了带L2范数约束的对抗训练会使线性逻辑回归模型中的权重损失景观变尖锐。我们的分析揭示，权重损失景观的尖锐性由对抗训练中所用的、沿损失增大方向的噪声所致。我们通过理论与实验确认，在线性逻辑回归模型中，权重损失景观随对抗训练噪声幅度的增大而变得更尖锐。此外，我们以ResNet18加softmax作为更一般的情形，通过实验确认了相同现象。
引用
@article{arxiv.2102.02950,
title = {Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression},
author = {Masanori Yamada and Sekitoshi Kanai and Tomoharu Iwata and Tomokatsu Takahashi and Yuki Yamanaka and Hiroshi Takahashi and Atsutoshi Kumagai},
journal= {arXiv preprint arXiv:2102.02950},
year = {2021}
}
备注
9 pages, 5 figures