中文

解构多模态图聚类的仲屈制与异质性

人工智能 2025-07-22 v1 机器学习 社会与信息网络

摘要

多模态图将非结构化的异构数据与结构化的相互关联集成,具有广泛的实际应用价值,但在无监督学习领域仍受到 insufficient 探索。本文旨在桥接这一关键性空白,开启多模态图聚类的研究。通过实证分析,我们观察到现实中的多模态图常呈现混合型邻域模式,即兼具仲屈制与异质性关系。为此,我们提出一种新框架——『解构多模态图聚类 (DMGC)』,该框架将原始混合图分解为两个互补的视图:(1) 仲屈制增强图,捕获跨模态类别一致性;(2) 异质性感知图,保留模态特定的类别间差异。我们引入一种『多模态双频融合』机制,通过双 passes 策略对解构后的图进行滤波,实现有效的多模态集成并缓解类别混淆。进一步的自监督对齐目标无需标签即可指导学习过程。在多模态图和多关系图数据集上进行的广泛实验表明,DMGC 实现了最先进的性能,凸显其在各种场景下的有效性与可扩展性。我们的代码已公开于 https://github.com/Uncnbb/DMGC。

关键词

引用

@article{arxiv.2507.15253,
  title  = {Disentangling Homophily and Heterophily in Multimodal Graph Clustering},
  author = {Zhaochen Guo and Zhixiang Shen and Xuanting Xie and Liangjian Wen and Zhao Kang},
  journal= {arXiv preprint arXiv:2507.15253},
  year   = {2025}
}

备注

Appear in ACM Multimedia 2025