通过自动损失函数搜索收紧对抗风险的近似误差
机器学习
2022-04-12 v2 人工智能
摘要
尽管取得巨大成功，深度神经网络（DNNs）仍易受对抗样本攻击。如何准确评估 DNNs 的对抗鲁棒性对其在真实世界应用中的部署至关重要。鲁棒性的理想指标是对抗风险。遗憾的是，由于涉及最大化 0-1 损失，计算真实风险在技术上是难解的。对此最常见的解决方案是用替代损失替换 0-1 损失以计算近似风险。一些函数已被使用，如交叉熵（CE）损失与对数比之差（DLR）损失。然而，这些函数均为人工设计，可能并不适合对抗鲁棒性评估。本文利用 AutoML 来收紧真实风险与近似风险之间的误差（鸿沟）。我们的主要贡献如下。首先，提出 AutoLoss-AR，这是首个为对抗风险搜索替代损失的方法，并带有精心设计的搜索空间。在 10 个对抗训练模型上的实验证明了所提方法的有效性：使用发现的最佳损失评估的风险比使用手工基线评估的风险好 0.2% 至 1.6%。其次，提炼出 5 个具有简洁可读公式的替代损失，并在 7 个未见的对抗训练模型上测试。这些损失比基线优 0.8% 至 2.4%，表明它们可单独用作某种新知识。此外，探讨了这些损失性能更优的可能原因。
引用
@article{arxiv.2111.05063,
title = {Tightening the Approximation Error of Adversarial Risk with Auto Loss Function Search},
author = {Pengfei Xia and Ziqiang Li and Bin Li},
journal= {arXiv preprint arXiv:2111.05063},
year = {2022}
}