通过知识迁移加速可认证鲁棒性训练
机器学习
2022-10-27 v1 密码学与安全
计算机视觉与模式识别
摘要
训练能够抵御对抗攻击且具有可认证鲁棒性的深度神经网络分类器，对于确保人工智能控制系统的安全性和可靠性至关重要。尽管已开发出许多最先进的可认证训练方法，但它们在计算上开销巨大，且难以随数据集和网络复杂度的增加而良好扩展。由于需要定期重新训练以纳入新数据和网络改进，可认证训练的广泛使用进一步受到阻碍。本文提出可认证鲁棒性迁移（Certified Robustness Transfer, CRT），一个通过知识迁移来降低任何可认证鲁棒训练方法计算开销的通用框架。给定一个鲁棒的教师模型，我们的框架使用一种新颖的训练损失将教师的鲁棒性迁移给学生模型。我们提供了CRT的理论和实证验证。在CIFAR-10上的实验表明，CRT在三种不同架构代际间平均将可认证鲁棒性训练加速，同时达到与最先进方法相当的鲁棒性。我们还展示了CRT能够扩展到ImageNet等大规模数据集。
引用
@article{arxiv.2210.14283,
title = {Accelerating Certified Robustness Training via Knowledge Transfer},
author = {Pratik Vaishnavi and Kevin Eykholt and Amir Rahmati},
journal= {arXiv preprint arXiv:2210.14283},
year = {2022}
}
备注
NeurIPS '22 Camera Ready version (with appendix)