TopiOCQA：具有话题切换的开放域对话式问答
计算与语言
2022-02-22 v3
摘要
在对话式问答场景中，提问者通过一系列相互依赖的问题与回答来提取关于某一话题的信息。随着对话推进，他们可能切换到相关话题，这一现象在信息检索会话中常见。然而，当前的对话式问答数据集存在两点局限：1）不含话题切换；2）假设对话的参考文本已给定，即非开放域设置。我们提出 TopiOCQA（读作 Tapioca），一个基于维基百科、含话题切换的开放域对话数据集。TopiOCQA 包含 3,920 段信息检索型问题与自由形式回答的对话。平均而言，我们数据集中的一段对话跨越 13 个问答轮次并涉及四个话题（文档）。TopiOCQA 为模型提供了具有挑战性的测试平台，其中需要在同一对话的多轮次上进行高效检索，并结合对话历史构建有效回复。我们结合最先进文档检索方法与神经阅读模型评估了若干基线。我们的最佳模型取得 55.8 的 F1，低于人类表现 14.2 分，表明本数据集的难度。我们的数据集与代码见 https://mcgill-nlp.github.io/topiocqa
引用
@article{arxiv.2110.00768,
title = {TopiOCQA: Open-domain Conversational Question Answering with Topic Switching},
author = {Vaibhav Adlakha and Shehzaad Dhuliawala and Kaheer Suleman and Harm de Vries and Siva Reddy},
journal= {arXiv preprint arXiv:2110.00768},
year = {2022}
}
备注
accepted at TACL