HOME-KGQA：面向家庭日常活动的多模态知识图谱问答基准数据集
计算与语言
2026-05-12 v1 人工智能
数据库
多媒体
摘要
大型语言模型（LLM）提供了灵活的自然语言处理能力，而知识图谱（KG）提供了显式且结构化的知识。以互补方式整合这两者能够开发出可靠且可验证的 AI 系统。特别是，知识图谱问答（KGQA）作为一种减少 LLM 幻觉并利用训练数据之外知识的手段而受到关注。然而，现有的 KGQA 基准数据集偏向于百科知识，局限于单一模态，且缺乏细粒度的时空数据，这限制了它们在具身 AI 所针对的现实场景中的适用性。我们引入了 HOME-KGQA，一个建立在家庭日常活动多模态 KG 之上的全新 KGQA 基准数据集。HOME-KGQA 由复杂的、多跳的自然语言问题及相应的图数据库查询语言组成。与现有基准相比，它包含了更具挑战性的问题，涉及多级时空推理、多模态基础和聚合函数。实验结果表明，基于 LLM 的 KGQA 方法在 HOME-KGQA 上评估时，无法达到在现有数据集上的性能水平。这突显了 KGQA 系统在现实部署中应解决的显著挑战。我们的数据集可在 https://github.com/aistairc/home-kgqa 获取
引用
@article{arxiv.2605.09348,
title = {HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge Graph Question Answering on Household Daily Activities},
author = {Shusaku Egami and Aoi Ohta and Tomoki Tsujimura and Masaki Asada and Tatsuya Ishigaki and Ken Fukuda and Masahiro Hamasaki and Hiroya Takamura},
journal= {arXiv preprint arXiv:2605.09348},
year = {2026}
}
备注
12 pages, 4 figures, 7 tables, accepted at LREC2026