更好的检索未必带来更好的问答
计算与语言
2022-05-10 v1
摘要
近年来，开放域问答（QA）问题取得了显著进展，这类问题需要信息检索（IR）和阅读理解（RC）。提升系统性能的一种流行方法是提高 IR 阶段所检索上下文的质量。在本工作中，我们表明，对于 StrategyQA——一个需要多跳推理的具有挑战性的开放域 QA 数据集——这种常见方法出人意料地无效：提升所检索上下文的质量几乎不能改善系统性能。我们进一步分析系统行为以找出潜在原因。
引用
@article{arxiv.2205.03685,
title = {Better Retrieval May Not Lead to Better Question Answering},
author = {Zhengzhong Liang and Tushar Khot and Steven Bethard and Mihai Surdeanu and Ashish Sabharwal},
journal= {arXiv preprint arXiv:2205.03685},
year = {2022}
}
备注
10 pages