SPAGHETTI：基于检索和语义解析的异构数据源开放域问答
计算与语言
2024-06-04 v1
摘要
我们介绍 SPAGHETTI：面向文本、表格和信息框的混合英语信息的语义解析增强生成，这是一个混合问答 (QA) 流水线，利用来自异构知识源（包括知识库、文本、表格和信息框）的信息。我们的大语言模型增强方法在 Compmix 数据集上达到了最先进的性能，该数据集是最全面的异构开放域问答数据集，精确匹配 (EM) 率为 56.5%。更重要的是，对数据集样本的手动分析表明，SPAGHETTI 的准确率超过 90%，这表明 EM 不再适合评估当今问答系统的能力。
引用
@article{arxiv.2406.00562,
title = {SPAGHETTI: Open-Domain Question Answering from Heterogeneous Data Sources with Retrieval and Semantic Parsing},
author = {Heidi C. Zhang and Sina J. Semnani and Farhad Ghassemi and Jialiang Xu and Shicheng Liu and Monica S. Lam},
journal= {arXiv preprint arXiv:2406.00562},
year = {2024}
}
备注
ACL Findings 2024