面向大规模知识图谱问答服务的全面评估
计算与语言
2025-01-30 v1 数据库
摘要
知识图谱问答（KGQA）系统用于基于知识图谱中的数据回答事实类问题。KGQA系统复杂在于需理解知识图谱中实体与关系，并将其映射为结构化查询。本文引入Chronos，一个针对KGQA行业规模的全面评估框架。其设计聚焦于：（1）端到端与组件级指标，（2）可扩展至多样数据集，（3）可扩展的发布前性能评估方法。本文讨论行业规模KGQA系统评估的独特挑战，回顾Chronos的设计及其如何解决这些挑战。我们将展示其如何为数据驱动决策提供基础，并讨论在实际KGQA系统中使用其进行性能衡量与改进的挑战。
引用
@article{arxiv.2501.17270,
title = {Comprehensive Evaluation for a Large Scale Knowledge Graph Question Answering Service},
author = {Saloni Potdar and Daniel Lee and Omar Attia and Varun Embar and De Meng and Ramesh Balaji and Chloe Seivwright and Eric Choi and Mina H. Farid and Yiwen Sun and Yunyao Li},
journal= {arXiv preprint arXiv:2501.17270},
year = {2025}
}