通过 Fisher-Rao 正则化实现对抗鲁棒性
机器学习
2022-06-15 v3 计算机视觉与模式识别
摘要
自观察到神经网络往往脆弱以来，对抗鲁棒性已成为机器学习中日益受关注的课题。我们提出一种对抗防御的信息几何表述，并引入 FIRE，一种针对分类交叉熵损失的新型 Fisher-Rao 正则化，其基于自然输入特征与扰动输入特征对应 softmax 输出之间的测地距离。基于 softmax 分布类的信息几何性质，我们推导了二分类与多分类情形下 Fisher-Rao 距离（FRD）的显式刻画，并得出一些有趣性质以及与标准正则化度量的联系。此外，对于一个简单的线性高斯模型，我们证明精度-鲁棒性区域中的所有帕累托最优点都可通过 FIRE 达到，而其他最先进的方法则失败。在经验上，我们在标准数据集上评估了采用所提损失训练的各类分类器性能，显示出干净与鲁棒性能同时最高提升 1%，并将训练时间相较最佳性能方法减少 20%。
引用
@article{arxiv.2106.06685,
title = {Adversarial Robustness via Fisher-Rao Regularization},
author = {Marine Picot and Francisco Messina and Malik Boudiaf and Fabrice Labeau and Ismail Ben Ayed and Pablo Piantanida},
journal= {arXiv preprint arXiv:2106.06685},
year = {2022}
}
备注
IEEE Transactions on Pattern Analysis and Machine Intelligence (Early Access)