BulletTrain：通过边界样本挖掘加速鲁棒神经网络训练
机器学习
2021-12-07 v2 人工智能
密码学与安全
摘要
神经网络鲁棒性近年来已成为机器学习的核心课题。大多数提升模型对对抗样本和常见 corruptions 鲁棒性的训练算法也引入了巨大的计算开销，需要多达十倍的前向和反向传播次数才能收敛。为应对这一低效问题，我们提出BulletTrain——一种边界样本挖掘技术，以大幅降低鲁棒训练的计算成本。我们的核心观察是，仅一小部分样本有益于提升鲁棒性。BulletTrain动态预测这些重要样本，并优化鲁棒训练算法以聚焦于重要样本。我们将该技术应用于几种现有鲁棒训练算法，在CIFAR-10上对TRADES和MART实现了2.1加速，在CIFAR-10-C和CIFAR-100-C上对AugMix实现了1.7加速，且干净准确率和鲁棒准确率均无下降。
引用
@article{arxiv.2109.14707,
title = {BulletTrain: Accelerating Robust Neural Network Training via Boundary Example Mining},
author = {Weizhe Hua and Yichi Zhang and Chuan Guo and Zhiru Zhang and G. Edward Suh},
journal= {arXiv preprint arXiv:2109.14707},
year = {2021}
}
备注
Appeared in NeurIPS 2021