探索基于语义共现知识的部分多标签学习

部分多标签学习旨在从标注不完整的数据中提取知识，这些数据包括已知正确标签、已知错误标签以及未知标签。核心挑战在于准确地识别标签与实例之间的模糊关系。本文强调，匹配标签与实例之间的共现模式是解决这一挑战的关键。为此，我们提出了语义共现洞察网络（SCINet），一个用于部分多标签学习的新型且有效的框架。具体而言，SCINet引入了一个双主导提示器模块，该模块利用即插即用的多模态模型捕捉文本-图像关联并增强语义对齐。为强化实例-标签之间的相互依赖，我们开发了一个跨模态融合模块，联合建模标签之间的相互关联、实例之间的关系以及跨实例-标签分配的共现模式。此外，我们提出了一种内在语义增强策略，通过应用多样化的图像变换来增强模型对数据内在语义的理解，从而促进标签置信度与样本难度之间的协同关系。在四个广泛使用的基准数据集上进行的大量实验表明，SCINet超越了当前最先进的方法。