重新审视面向最差性能类别的对抗训练
机器学习
2023-02-20 v1
摘要
尽管对抗训练（AT）取得进展，许多数据集中表现最佳与最差类别间仍存在显著差距。例如在 CIFAR10 上，最佳与最差类别的准确率分别为 74% 与 23%。我们认为，通过显式优化最差性能类别可缩小该差距，从而形成极小-极大-极大优化形式。我们的方法称为类别聚焦在线学习（CFOL），包含针对最差类别损失的高概率收敛保证，且能以极小计算开销轻松集成至现有训练框架。我们在 CIFAR10 上将最差类别准确率提升至 32%，并在 CIFAR100 与 STL10 上观察到一致表现。我们的研究凸显了超越平均准确率的重要性，这在安全关键应用中尤为关键。
引用
@article{arxiv.2302.08872,
title = {Revisiting adversarial training for the worst-performing class},
author = {Thomas Pethick and Grigorios G. Chrysos and Volkan Cevher},
journal= {arXiv preprint arXiv:2302.08872},
year = {2023}
}
备注
Code accessible at: https://github.com/LIONS-EPFL/class-focused-online-learning-code