AdAUC：面向长尾问题的端到端对抗性AUC优化
机器学习
2022-06-27 v1 人工智能
摘要
众所周知，深度学习模型易受对抗样本攻击。现有的对抗训练研究在应对这一挑战方面已取得很大进展。作为典型特征，它们通常假设类别分布整体均衡。然而，长尾数据集在广泛应用领域中无处不在，其中头部类样本数量大于尾部类。在此情形下，AUC比准确率更为合理，因为它对类别分布不敏感。受此启发，我们进行了早期探索，研究优化AUC的对抗训练方法。主要挑战在于正负样本在目标函数中紧密耦合。其直接结果是，若不全面扫描数据集便无法生成对抗样本。为解决该问题，基于凹性正则化方案，我们将AUC优化问题重新表述为一个鞍点问题，其中目标变为逐样本函数。这带来了一套端到端训练协议。此外，我们给出了所提算法的收敛性保证。我们的分析与现有研究不同，因为该算法需通过求解极小极大问题的梯度来生成对抗样本。最后，大量实验结果表明我们的算法在三个长尾数据集上的性能与鲁棒性。
引用
@article{arxiv.2206.12169,
title = {AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems},
author = {Wenzheng Hou and Qianqian Xu and Zhiyong Yang and Shilong Bao and Yuan He and Qingming Huang},
journal= {arXiv preprint arXiv:2206.12169},
year = {2022}
}