面向对抗鲁棒分类的校准替代损失
机器学习
2021-05-14 v2 机器学习
摘要
对抗鲁棒分类旨在寻找对测试样本对抗扰动不敏感的分类器。该问题常通过极小极大目标来表述，其中目标损失是在扰动大小受限条件下 0-1 损失的最坏情况值。近期工作提出了对抗 0-1 损失的凸替代损失，以使优化更易处理。一个核心问题是一致性，即替代风险的最小化是否意味着对抗 0-1 风险的最小化。本文通过校准这一逐点一致性概念来分析该问题。我们证明，当限定在线性模型类时，没有任何凸替代损失相对于对抗 0-1 损失是校准的。我们进一步引入一类非凸损失，并给出该类损失实现校准的充要条件。我们还证明，若底层分布满足 Massart 噪声条件，则凸损失在对抗设定下也可被校准。
引用
@article{arxiv.2005.13748,
title = {Calibrated Surrogate Losses for Adversarially Robust Classification},
author = {Han Bao and Clayton Scott and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2005.13748},
year = {2021}
}
备注
Corrigendum to the published version in COLT2020 (http://proceedings.mlr.press/v125/bao20a.html)