知识图谱遇见多模态学习：综述
人工智能
2024-02-27 v4 计算机视觉与模式识别
信息检索
机器学习
摘要
知识图谱（KGs）在推动各类人工智能应用中发挥着关键作用，语义网社区对多模态维度的探索为创新开辟了新途径。在本综述中，我们仔细回顾了300多篇文章，重点关注知识图谱感知研究的两个主要方面：KG驱动的多模态（KG4MM）学习，其中KGs支持多模态任务；以及多模态知识图谱（MM4KG），它将KG研究扩展到多模态知识图谱（MMKG）领域。我们首先定义KGs和MMKGs，然后探讨其构建进展。我们的综述涵盖了两类主要任务：知识图谱感知的多模态学习任务，如图像分类和视觉问答；以及内在的MMKG任务，如多模态知识图谱补全和实体对齐，并突出了具体的研究轨迹。对于大多数这些任务，我们提供了定义、评估基准，并额外概述了开展相关研究的基本见解。最后，我们讨论了当前的挑战并识别了新兴趋势，例如大语言建模和多模态预训练策略的进展。本综述旨在为已经参与或考虑深入研究KG和多模态学习的研究人员提供全面的参考，提供对MMKG研究不断发展的格局的见解，并支持未来的工作。
引用
@article{arxiv.2402.05391,
title = {Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey},
author = {Zhuo Chen and Yichi Zhang and Yin Fang and Yuxia Geng and Lingbing Guo and Xiang Chen and Qian Li and Wen Zhang and Jiaoyan Chen and Yushan Zhu and Jiaqi Li and Xiaoze Liu and Jeff Z. Pan and Ningyu Zhang and Huajun Chen},
journal= {arXiv preprint arXiv:2402.05391},
year = {2024}
}
备注
Ongoing work; 41 pages (Main Text), 55 pages (Total), 11 Tables, 13 Figures, 619 citations; Paper list is available at https://github.com/zjukg/KG-MM-Survey