基于语义丰富提示的多模态知识图谱生成
人工智能
2025-04-21 v1
摘要
多模态知识图谱(MMKG)已在各类领域广泛应用于知识表示。然而，现有MMKG数量远不足以满足需求，其构建面临诸多挑战，尤其在确保为知识图谱选择高质量、上下文相关的图像方面。为此，我们提出了从常规KG构建MMKG的框架。进一步，为生成更符合上下文语义的高质量图像，我们设计了一种邻居选择方法，称为Visualizable Structural Neighbor Selection (VSNS)。该方法包含两个模块：Visualizable Neighbor Selection (VNS)和Structural Neighbor Selection (SNS)。VNS模块筛选难以可视化的关系，而SNS模块选择能最有效捕获实体结构特征的邻居。为评估生成图像的质量，我们在两个数据集MKG-Y和DB15K上进行了定性和定量评估。实验结果表明，使用VSNS方法选择邻居可生成更符合知识图谱语义的高质量图像。
引用
@article{arxiv.2504.13631,
title = {Multi-modal Knowledge Graph Generation with Semantics-enriched Prompts},
author = {Yajing Xu and Zhiqiang Liu and Jiaoyan Chen and Mingchen Tu and Zhuo Chen and Jeff Z. Pan and Yichi Zhang and Yushan Zhu and Wen Zhang and Huajun Chen},
journal= {arXiv preprint arXiv:2504.13631},
year = {2025}
}
备注
Accepted by IJCNN 2025