面向生成模型的双分支网络以增强长尾识别
计算机视觉与模式识别
2024-08-30 v1
摘要
图像识别中的长尾分布因少数具有大量样本的主导类别与众多仅有少量样本的次要类别之间的严重不平衡而构成重大挑战。最近，大型生成模型用于图像分类创建合成数据的做法已被实现，但将合成数据用于解决长尾识别挑战仍相对未被探索。本文提出将合成数据作为长尾数据集的补充，以消除数据不平衡的影响。为解决实际-合成混合数据集问题，我们设计了包含合成感知分支和不敏感分支（SAU）的双分支模型。核心思想是：（1）用于分类的合成不敏感分支混合真实和合成数据，无论如何对所有数据平等对待。（2）用于提高特征提取器鲁棒性的合成感知分支，通过区分真实和合成数据并学习其差异。广泛的实验结果表明，我们的方法可以提高长尾图像识别的准确性。值得注意的是，我们的方法在CIFAR-10-LT和CIFAR-100-LT数据集上实现了最先进的Top-1准确率，并在各种不平衡因子下显著超越其他方法。我们的代码可在 https://github.com/lgX1123/gm4lt 提供。
引用
@article{arxiv.2408.16273,
title = {SAU: A Dual-Branch Network to Enhance Long-Tailed Recognition via Generative Models},
author = {Guangxi Li and Yinsheng Song and Mingkai Zheng},
journal= {arXiv preprint arXiv:2408.16273},
year = {2024}
}
备注
15 pages