LOT：用于提升 $\ell_2$ 认证鲁棒性的逐层正交训练
机器学习
2023-03-28 v2 机器学习
摘要
最近的研究表明，用Lipschitz约束训练深度神经网络（DNNs）能够增强对抗鲁棒性以及其他模型性质，如稳定性。在本文中，我们提出一种逐层正交训练方法（LOT），通过用无约束矩阵参数化正交矩阵来有效训练1-Lipschitz卷积层。然后我们通过将输入域变换到傅里叶频域来高效计算卷积核的逆平方根。另一方面，由于已有工作表明半监督训练有助于提升经验鲁棒性，我们旨在弥合差距并证明半监督学习也能改善Lipschitz有界模型的认证鲁棒性。我们在不同设置下对LOT进行了全面评估。我们表明LOT在确定性l2认证鲁棒性方面显著优于基线，并可扩展到更深的神经网络。在有监督场景下，我们改进了所有架构的最先进认证鲁棒性（例如在CIFAR-10上半径rho = 36/255处从59.04%提升到63.50%，在CIFAR-100上从32.57%提升到34.59%用于40层网络）。通过对未标记数据的半监督学习，我们能够在CIFAR-10上rho = 108/255处将最先进认证鲁棒性从36.04%提升到42.39%。此外，LOT在不同模型架构上始终优于基线，且仅需1/3的评估时间。
引用
@article{arxiv.2210.11620,
title = {LOT: Layer-wise Orthogonal Training on Improving $\ell_2$ Certified Robustness},
author = {Xiaojun Xu and Linyi Li and Bo Li},
journal= {arXiv preprint arXiv:2210.11620},
year = {2023}
}
备注
NeurIPS 2022