神经网络认证鲁棒准确率受贝叶斯误差限制

对抗样本构成了许多依赖神经网络的关键系统的安全威胁。虽然认证训练可以提高鲁棒性，但也会显著降低准确率。尽管已提出多种解决方法，但显著的准确率下降仍然存在。更重要的是，人们尚不清楚在实现鲁棒性的同时是否存在某种基本准确率限制。本文提出了一种基于贝叶斯误差的新视角。通过采用贝叶斯误差进行鲁棒性分析，我们考察了认证鲁棒准确率的限制，同时考虑数据分布不确定性。首先，我们表明在数据分布发生变化的情况下，准确率不可避免地会下降，因为贝叶斯误差发生了改变。随后，我们在考虑各类别分布及其边界的情况下，建立了认证鲁棒准确率的上限。我们的理论结果在真实数据集上进行了经验评估，结果表明与现有认证训练方法的有限成功相一致。例如，对于 CIFAR10，我们的分析结果给出的认证鲁棒准确率上限为 $67.49\%$，而现有方法仅能将其从 2017 年的 $53.89\%$ 提升到 2023 年的 $62.84\%$。