对抗训练中用于样本重加权的概率间隔
机器学习
2022-03-18 v2
摘要
近期研究表明，在训练过程中对对抗样本进行重加权可提升对抗鲁棒性，其中更接近当前决策边界的数据被视为更关键并赋予更大权重。然而，现有度量接近程度的方法并不可靠：它们是离散的且只能取少数几个值，并且它们是路径依赖的，即对于相同的起点和终点但不同攻击路径时可能发生变化。本文提出三类概率间隔（PM），它们是连续且路径无关的，用于度量上述接近程度并对对抗数据重加权。具体而言，一个PM定义为两个估计的类别后验概率之差，例如给定某自然数据时真实标签的概率减去最易混淆标签的概率。尽管不同的PM捕捉不同的几何性质，但所有三类PM都与数据的脆弱性呈负相关：PM较大/较小的数据更安全/更危险，应赋予较小/较大的权重。实验表明PM是可靠的度量，且基于PM的重加权方法优于最先进的方法。
引用
@article{arxiv.2106.07904,
title = {Probabilistic Margins for Instance Reweighting in Adversarial Training},
author = {Qizhou Wang and Feng Liu and Bo Han and Tongliang Liu and Chen Gong and Gang Niu and Mingyuan Zhou and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2106.07904},
year = {2022}
}
备注
17 pages, 4 figures