临界性利用对抗训练（CLAT）：通过参数效率提升性能
机器学习
2024-12-25 v3 计算机视觉与模式识别
摘要
对抗训练增强了神经网络的鲁棒性，但容易过拟合并在干净数据上产生增加的泛化误差。本工作引入了 CLAT，一种创新方法，通过将参数效率引入对抗训练过程来缓解对抗过拟合，从而同时提升干净准确率和对抗鲁棒性。与其调整整个模型，CLAT 识别并微调鲁棒性关键层——那些主要学习非鲁棒特征的层——同时冻结其余模型以增强鲁棒性。它采用动态关键层选择来适应微调过程中关键性的变化。经验上，CLAT 可应用于现有对抗训练方法之上，将可训练参数数量减少约 95%，并在对抗鲁棒性方面相比基线方法实现超过 2% 的提升。
引用
@article{arxiv.2408.10204,
title = {Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency},
author = {Bhavna Gopal and Huanrui Yang and Jingyang Zhang and Mark Horton and Yiran Chen},
journal= {arXiv preprint arXiv:2408.10204},
year = {2024}
}
备注
11 pages + appendix/ additional experiments