基于鲁棒早鸟票的高效对抗训练
计算与语言
2022-12-01 v3
摘要
对抗训练是提升预训练语言模型（PLM）鲁棒性最有效的方法之一。然而，由于需要通过梯度下降生成对抗样本，该方法通常比传统微调开销更大。深入探究对抗训练的优化过程，我们发现鲁棒连接模式在训练早期（通常为 个 epoch）就已浮现，远早于参数收敛。受此发现启发，我们挖掘出鲁棒早鸟票（即子网络）以开发一种高效的对抗训练方法：（1）在早期阶段搜索具有结构化稀疏性的鲁棒票；（2）在剩余时间内微调鲁棒票。为尽可能早地提取鲁棒票，我们设计了一个票收敛度量以自动终止搜索过程。实验表明，所提出的高效对抗训练方法可实现高达 的训练加速，同时与最具竞争力的 SOTA 对抗训练方法相比保持相当甚至更优的鲁棒性。
引用
@article{arxiv.2211.07263,
title = {Efficient Adversarial Training with Robust Early-Bird Tickets},
author = {Zhiheng Xi and Rui Zheng and Tao Gui and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2211.07263},
year = {2022}
}
备注
EMNLP 2022