REALTIME QA：此刻的答案是什么？

我们介绍了 REALTIME QA，一个动态问答（QA）平台，它定期（本版本中每周）发布问题并评估系统。REALTIME QA 询问关于当前世界的问题，QA 系统需要回答关于新事件或新信息的问题。因此它挑战了开放域 QA 数据集中静态的、传统的假设，并追求即时应用。我们基于大型预训练语言模型（包括 GPT-3 和 T5）构建了强基线模型。我们的基准是一项持续的努力，本文展示了过去一年中的实时评估结果。实验结果表明，GPT-3 通常能基于新检索到的文档适当地更新其生成结果，凸显了最新信息检索的重要性。然而，我们发现当检索到的文档未提供充足信息以找到答案时，GPT-3 倾向于返回过时答案。这指出了未来研究的一个重要方向：开放域 QA 系统能否识别此类不可回答的情况，并与用户甚至检索模块沟通以修改检索结果？我们希望 REALTIME QA 能推动问答及其以外领域的即时应用取得进展。