多视图分解与解耦:一种用于不完整多视图多标签分类的新框架
计算机视觉与模式识别
2025-01-28 v2
摘要
多视图多标签分类(MvMLC)因其广泛的实际应用而最近引起了重要的研究关注。然而,视图和标签的不完整性是一个常见挑战,通常源于数据收集的疏忽和人工标注的不确定性。此外,从不同视图中学习既具有视图一致性又具有视图特异性的鲁棒多视图表示仍然是MvMLC中的一个难题。为了解决这些问题,我们提出了一种用于不完整多视图多标签分类(iMvMLC)的新框架。我们的方法将多视图表示分解为两组独立的因子:视图一致和视图特异,并相应地设计了一个图解耦损失来充分减少这些表示之间的冗余。此外,我们的框架创新地将一致表示学习分解为三个关键子目标:(i)如何跨不同视图提取视图共享信息,(ii)如何消除一致表示中的视图内冗余,以及(iii)如何保留任务相关信息。为此,我们设计了一个鲁棒的任务相关一致性学习模块,该模块利用掩码跨视图预测(MCP)策略和信息论协作学习高质量的一致表示。值得注意的是,我们框架中的所有模块都被设计为在视图和标签不完整的条件下有效工作,使得我们的方法适用于各种多视图和多标签数据集。在五个数据集上的大量实验表明,我们的方法优于其他领先方法。
引用
@article{arxiv.2501.06524,
title = {Multi-View Factorizing and Disentangling: A Novel Framework for Incomplete Multi-View Multi-Label Classification},
author = {Wulin Xie and Lian Zhao and Jiang Long and Xiaohuan Lu and Bingyan Nie},
journal= {arXiv preprint arXiv:2501.06524},
year = {2025}
}