通过反向平滑实现高效鲁棒训练
机器学习
2022-01-03 v2 人工智能
机器学习
摘要
对抗训练是迄今为止抵御对抗样本最有效的策略。然而,由于每步训练中的迭代对抗攻击,其计算成本很高。近期研究表明,通过执行带随机初始化的单步攻击可实现快速对抗训练。但该方法在稳定性和模型鲁棒性上仍落后于最先进的对抗训练算法。本工作中,我们对快速对抗训练建立了新的理解,将随机初始化视为对内部最大化问题更好优化的随机平滑。遵循这一新视角,我们还提出了一种新的初始化策略——反向平滑(backward smoothing),以在单步鲁棒训练方法上进一步提升稳定性与模型鲁棒性。在多个基准上的实验表明,我们的方法在模型鲁棒性上与原始 TRADES 方法相当,同时大幅减少训练时间(相同训练 schedule 下约 3 倍提升)。
引用
@article{arxiv.2010.01278,
title = {Efficient Robust Training via Backward Smoothing},
author = {Jinghui Chen and Yu Cheng and Zhe Gan and Quanquan Gu and Jingjing Liu},
journal= {arXiv preprint arXiv:2010.01278},
year = {2022}
}
备注
12 pages, 15 tables, 6 figures. In AAAI 2022