对抗替代损失的校准与一致性
机器学习
2021-05-05 v2 机器学习
摘要
对抗鲁棒性正日益成为分类器在应用中的关键性质。鲁棒算法的设计依赖于替代损失,因为对大多数假设集而言,对抗损失的优化是 NP 难的。但应使用哪些替代损失,它们何时具有理论保证?我们对该问题进行了广泛研究,包括对对抗替代损失的 H-校准与 H-一致性的详细分析。我们表明,在一些一般假设下,凸损失函数或应用中常用的基于上确界的凸损失,对于广义线性模型或单层神经网络等重要假设集并非 H-校准的。随后我们给出了 H-校准的刻画,并证明某些替代损失对于这些假设集确实是关于对抗损失的 H-校准的。接着,我们表明 H-校准不足以保证一致性,并证明在没有任何分布假设的情况下,不存在连续的替代损失在对抗设定下是一致性的。这尤其证明了 COLT 2020 一篇出版物中的声称是不准确的(其中的校准结果在细微定义差异下是正确的,但一致性声称不成立)。接下来,我们确定了若干自然条件,在此条件下我们详细描述的某些替代损失对于广义线性模型和单层神经网络等假设集是 H-一致的。我们还报告了一系列基于模拟数据的实证结果,表明许多 H-校准的替代损失确实不是 H-一致的,并验证了我们的理论假设。
引用
@article{arxiv.2104.09658,
title = {Calibration and Consistency of Adversarial Surrogate Losses},
author = {Pranjal Awasthi and Natalie Frank and Anqi Mao and Mehryar Mohri and Yutao Zhong},
journal= {arXiv preprint arXiv:2104.09658},
year = {2021}
}