基于类别相似性的异构类别集多模态分类
计算机视觉与模式识别
2025-06-12 v1
摘要
现有的多模态方法通常假设不同模态共享相同的类别集。然而，在实际应用中，多模态数据中的类别分布存在不一致性，这可能阻碍模型有效利用跨模态信息来识别所有类别。在本工作中，我们提出了一个实用的设定——多模态异构类别集学习（MMHCL），其中模型在多模态数据的异构类别集中进行训练，并在测试时旨在识别所有模态的完整类别集。为有效应对此任务，我们提出了一种基于类别相似性的跨模态融合模型（CSCF）。具体而言，CSCF 将模态特定特征对齐到共享语义空间，以实现已见和未见类别之间的知识迁移。然后通过不确定性估计选择最具判别力的模态进行决策融合。最后，它基于类别相似性整合跨模态信息，其中辅助模态对主导模态的预测进行细化。实验结果表明，我们的方法在多个基准数据集上显著优于现有的最先进（SOTA）方法，有效解决了 MMHCL 任务。
引用
@article{arxiv.2506.09745,
title = {Class Similarity-Based Multimodal Classification under Heterogeneous Category Sets},
author = {Yangrui Zhu and Junhua Bao and Yipan Wei and Yapeng Li and Bo Du},
journal= {arXiv preprint arXiv:2506.09745},
year = {2025}
}