基于层次化提示的双视图对齐学习用于类别不平衡多标签分类
计算机视觉与模式识别
2025-09-23 v1 人工智能
摘要
现实世界的数据集常常在多个类别之间呈现类别不平衡，表现为长尾分布和零样本情形。这在类别不平衡多标签图像分类 (CI-MLIC) 任务中尤为具有挑战性，因为数据不平衡和多目标识别是主要障碍。为此，我们提出一种新方法，称为双视图对齐学习配合层次化提示 (HP-DVAL)，利用视觉语言预训练 (VLP) 模型获取的多模态知识，以缓解多标签设置下的类别不平衡问题。具体而言，HP-DVAL采用双视图对齐学习，通过提取互补特征实现精准的图像-文本对齐。为更好地适应CI-MLIC任务，我们引入层次化提示调谐策略，利用全局提示和局部提示学习任务特定和上下文相关的先验知识。此外，我们设计了语义一致性损失，以防止提示学习偏离VLP模型中嵌入的通用知识。该方法在两个CI-MLIC基准数据集 MS-COCO 和 VOC2007 上的有效性得到验证。大量实验结果表明，我们的方法在长尾多标签图像分类任务上优于SOTA方法，分别提升了10.0%和5.2%；在多标签零样本图像分类任务上提升了6.8%和2.9%。
引用
@article{arxiv.2509.17747,
title = {Dual-View Alignment Learning with Hierarchical-Prompt for Class-Imbalance Multi-Label Classification},
author = {Sheng Huang and Jiexuan Yan and Beiyan Liu and Bo Liu and Richang Hong},
journal= {arXiv preprint arXiv:2509.17747},
year = {2025}
}
备注
accepted by IEEE Transactions on Image Processing