现实场景中的全能对抗训练
机器学习
2023-12-05 v2 密码学与安全
计算机视觉与模式识别
摘要
对抗训练是鲁棒深度学习中的重要课题，但社区对其实际使用的关注不足。在本文中，我们旨在解决一个现实挑战，即在不平衡且含噪声的数据集上训练模型，以借助我们提出的全能对抗训练（OAT）策略实现高干净准确率与对抗鲁棒性。OAT 由两种创新方法组成，以解决训练集中的不完美性。我们首先在对抗训练过程中引入一个 oracle，帮助模型学习正确的数据-标签条件分布。这一精心设计的 oracle 可为对抗训练提供正确的标签标注。我们进一步提出对数调整对抗训练以克服数据不平衡问题，其可帮助模型学习贝叶斯最优分布。我们全面的评估结果表明，在数据与标签噪声不平衡的复杂组合场景下，OAT 比其他基线在干净准确率上提升超过 20%，在鲁棒准确率上提升 10%。代码可见于 https://github.com/GuanlinLee/OAT。
引用
@article{arxiv.2307.08596,
title = {Omnipotent Adversarial Training in the Wild},
author = {Guanlin Li and Kangjie Chen and Yuan Xu and Han Qiu and Tianwei Zhang},
journal= {arXiv preprint arXiv:2307.08596},
year = {2023}
}