Conserve-Update-Revise：治愈对抗训练中的泛化性与鲁棒性权衡

对抗训练提高了神经网络抵御对抗攻击的鲁棒性，但代价是标准泛化与鲁棒泛化之间的权衡。为了揭示驱动这一现象的潜在因素，我们研究了神经网络从标准设置过渡到对抗设置过程中的逐层学习能力。我们的实证发现表明，在保留其他层的同时，选择性地更新特定层可以显著增强网络的学习能力。因此，我们提出了CURE，一种新颖的训练框架，它利用梯度显著性准则来执行权重的选择性保留、更新和修正。重要的是，CURE被设计为与数据集和架构无关，确保了其在各种场景下的适用性。它有效地解决了记忆和过拟合问题，从而改善了鲁棒性与泛化性之间的权衡，此外，这种训练方法还有助于缓解“鲁棒过拟合”。进一步地，我们的研究为选择性对抗训练的机制提供了有价值的见解，并为未来的研究提供了一条有前景的途径。