具有松弛控制与大 Lipschitz 常数的认证鲁棒模型
机器学习
2023-09-13 v1 计算机视觉与模式识别
机器学习
摘要
尽管近期取得进展，最先进的基于学习的模型仍对对抗样本等输入变化高度脆弱。为获得针对此类扰动的可认证鲁棒性，近期工作采用基于 Lipschitz 的正则化项或约束，同时增大预测间隔。遗憾的是，这以准确率显著下降为代价。本文提出一种校准 Lipschitz-间隔损失（CLL），通过解决两个问题来改善此状况并提升认证鲁棒性：首先，常用间隔损失未根据由最小化 Lipschitz 常数 引起的输出分布收缩来调整惩罚。其次，也是最重要的，我们观察到最小化 会导致决策函数过度平滑，这限制了模型复杂度从而降低准确率。我们的 CLL 通过显式地针对间隔和 Lipschitz 常数校准损失来解决这些问题，从而实现对松弛的完全控制，并即使在更大 Lipschitz 常数下也改善鲁棒性证书。在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上，我们的模型一致优于未关注该常数的损失。在 CIFAR-100 和 Tiny-ImageNet 上，CLL 优于最先进的确定性 鲁棒准确率。与当前趋势相反，我们释放了无 约束的更小模型的潜力。
引用
@article{arxiv.2309.06166,
title = {Certified Robust Models with Slack Control and Large Lipschitz Constants},
author = {Max Losch and David Stutz and Bernt Schiele and Mario Fritz},
journal= {arXiv preprint arXiv:2309.06166},
year = {2023}
}
备注
To be published at GCPR 2023