Focal-SAM：面向长尾分类的焦点锐度感知最小化
机器学习
2025-06-04 v2
摘要
现实世界的数据集通常遵循长尾分布，使得对尾部类别的泛化变得困难。近期方法诉诸于锐度感知最小化（SAM）的长尾变体，如 ImbSAM 和 CC-SAM，通过平坦化损失景观来改善泛化。然而，这些尝试面临计算效率与损失景观控制之间的权衡。一方面，ImbSAM 效率高，但由于将头部类别排除在 SAM 过程之外，仅提供粗粒度控制。另一方面，CC-SAM 通过类别依赖的扰动提供细粒度控制，但代价是多次反向传播导致的效率低下。面对这一困境，我们引入了 Focal-SAM，它对类别级锐度分配不同的惩罚，无需额外反向传播即可实现细粒度控制，从而保持效率。此外，我们从理论上分析了 Focal-SAM 的泛化能力，并推导出一个更紧的泛化界。在传统模型和基础模型上的大量实验验证了 Focal-SAM 的有效性。
引用
@article{arxiv.2505.01660,
title = {Focal-SAM: Focal Sharpness-Aware Minimization for Long-Tailed Classification},
author = {Sicong Li and Qianqian Xu and Zhiyong Yang and Zitai Wang and Linchao Zhang and Xiaochun Cao and Qingming Huang},
journal= {arXiv preprint arXiv:2505.01660},
year = {2025}
}