用于去语境化科学文档中面向用户片段的问答框架
计算与语言
2023-12-04 v3
摘要
许多现实世界应用(例如记笔记、搜索)需要从文档中提取一个句子或段落,并将该片段展示给源文档之外的人。然而,用户可能会发现片段难以理解,因为它们缺乏来自原始文档的上下文。在这项工作中,我们使用语言模型重写科学文档中的片段,使其可独立阅读。首先,我们定义了这一面向用户的去语境化任务的需求与挑战,例如澄清编辑发生的位置以及处理对其他文档的引用。其次,我们提出了一个将任务分解为三个阶段的框架:问题生成、问答和重写。使用该框架,我们从有经验的科学文章读者处收集了黄金去语境化结果。然后我们在最先进的商业和开源语言模型上进行了一系列实验,以确定如何为我们任务最佳地提供缺失但相关的信息给模型。最后,我们开发了 QaDecontext,一种受我们框架启发的简单提示策略,优于端到端提示。我们以分析作结,发现尽管重写容易,问题生成与回答对当今模型仍具挑战性。
引用
@article{arxiv.2305.14772,
title = {A Question Answering Framework for Decontextualizing User-facing Snippets from Scientific Documents},
author = {Benjamin Newman and Luca Soldaini and Raymond Fok and Arman Cohan and Kyle Lo},
journal= {arXiv preprint arXiv:2305.14772},
year = {2023}
}
备注
19 pages, 2 figures, 8 tables, EMNLP2023