学习邻居：基于类别外推的长尾学习
计算机视觉与模式识别
2024-12-10 v3
摘要
在深度学习中，平衡长尾数据分布的训练仍是长期以来的挑战。虽然再权重和重抽样等方法有助于缓解不平衡问题，但有限的样本多样性仍阻碍模型学习鲁棒且可泛化的特征表示，尤其是针对尾部类别。与现有方法不同，本文提出了一种新的长尾学习视角，灵感来自观察到的现象：数据分布更细粒度的集合在数据不平衡问题上受到的影响较小。本文通过定量和定性研究探讨了这一现象，表明更细的粒度水平可增强尾部类别学习特征的泛化性。鼓励这些发现，我们提出了通过类别外推来增加数据集细粒度的方法。具体而言，我们引入开放集辅助类别，这些类别与现有类别在视觉上相似，旨在增强头类和尾类类别的表示学习。这是我们方法的核心贡献与洞察。为自动化辅助数据的筛选，我们利用大语言模型（LLM）作为知识库，搜索辅助类别并通过网络爬虫检索相关图像。为防止辅助类别的数量过多干扰训练，我们引入邻居沉默损失，以鼓励模型在目标数据集内部专注于类别判别。推理阶段，辅助类别的分类器权重将被屏蔽，只保留目标类别权重供使用。在三个标准长尾基准测试上的大量实验和消融研究表明，我们的方法有效，显著优于使用相同数据量的强基线方法。代码将公开发布。
引用
@article{arxiv.2410.15980,
title = {Learning from Neighbors: Category Extrapolation for Long-Tail Learning},
author = {Shizhen Zhao and Xin Wen and Jiahui Liu and Chuofan Ma and Chunfeng Yuan and Xiaojuan Qi},
journal= {arXiv preprint arXiv:2410.15980},
year = {2024}
}