Dynamic-KGQA：生成自适应问答数据集的可扩展框架
计算与语言
2025-03-10 v1 信息检索
机器学习
摘要
随着问答（QA）系统随基础模型的快速演进而进步，对稳健、可适应和大规模的评估基准的需求变得日益关键。传统的QA基准通常是静态且公开的，使其容易受到大语言模型（LLM）的数据污染和记忆。因此，静态基准可能会高估模型的泛化能力，并阻碍对真实世界性能的可靠评估。在这项工作中，我们引入了Dynamic-KGQA，这是一个从知识图谱（KG）生成自适应QA数据集的可扩展框架，旨在减轻记忆风险，同时保持迭代间的统计一致性。与固定基准不同，Dynamic-KGQA在每次运行时生成一个新数据集变体，同时保留底层分布，从而实现公平和可重复的评估。此外，我们的框架提供了对数据集特征的细粒度控制，支持特定领域和主题聚焦的QA数据集生成。此外，Dynamic-KGQA生成紧凑、语义连贯的子图，有助于KGQA模型的训练和评估，增强其有效利用结构化知识的能力。为了与现有的评估协议保持一致，我们还提供静态的大规模训练/测试/验证拆分，确保与先前方法的可比性。通过引入动态可定制的基准范式，Dynamic-KGQA实现了对QA系统更严格和可适应的评估。
引用
@article{arxiv.2503.05049,
title = {Dynamic-KGQA: A Scalable Framework for Generating Adaptive Question Answering Datasets},
author = {Preetam Prabhu Srikar Dammu and Himanshu Naidu and Chirag Shah},
journal= {arXiv preprint arXiv:2503.05049},
year = {2025}
}