SSE-SAM：通过分阶段 SAM 逐步平衡头部与尾部类别
机器学习
2024-12-23 v2
摘要
真实世界数据集通常呈现长尾分布，其中绝大多数被称为尾部类别的类别仅有少量样本。传统方法容易在这些尾部类别上过拟合。最近，一种名为不平衡 SAM（ImbSAM）的新方法被提出，利用锐度感知最小化（SAM）的泛化优势来处理长尾分布。其主要策略仅仅是增强尾部类别损失函数的平滑度。然而，我们认为在长尾场景下提升泛化能力需要头部与尾部类别之间的仔细平衡。我们表明，单独使用 SAM 或 ImbSAM 均无法完全实现这种平衡。对于 SAM，我们证明尽管它通过逃离整体损失景观中的鞍点来增强模型的泛化能力，但它未能有效解决尾部类别损失的问题。相反，虽然 ImbSAM 在避免尾部类别鞍点方面更有效，但头部类别训练不充分，导致性能显著下降。基于这些洞察，我们提出了分阶段鞍点逃逸 SAM（SSE-SAM），以分阶段的方式利用 ImbSAM 和 SAM 的互补优势。最初，SSE-SAM 跟随多数样本以避免头部类别损失的鞍点。在后期阶段，它专注于尾部类别以帮助其逃离鞍点。我们的实验证实，SSE-SAM 在头部和尾部类别上均具有更好的鞍点逃逸能力，并显示出性能提升。
引用
@article{arxiv.2412.13715,
title = {SSE-SAM: Balancing Head and Tail Classes Gradually through Stage-Wise SAM},
author = {Xingyu Lyu and Qianqian Xu and Zhiyong Yang and Shaojie Lyu and Qingming Huang},
journal= {arXiv preprint arXiv:2412.13715},
year = {2024}
}
备注
Update: Add missing information and correct some grammatical issues