中文

WebCPM:面向中文长文问答的交互式网络搜索

计算与语言 2023-05-24 v2 人工智能 信息检索

摘要

长文问答(LFQA)旨在以详尽的段落级回复回答复杂、开放性的问题。LFQA 的事实范式需要两个步骤:信息检索,即搜索相关的支撑事实;以及信息综合,即将这些事实整合为连贯的答案。本文介绍 WebCPM,首个中文 LFQA 数据集。WebCPM 的一个独特之处在于其信息检索基于交互式网络搜索,与搜索引擎实时交互。沿用 WebGPT,我们开发了一个网络搜索界面。我们招募标注人员使用我们的界面搜索相关信息并回答问题,同时记录标注人员的网络搜索行为。我们总共收集了 5500 组高质量问答对,以及 14315 条支撑事实和 121330 次网络搜索动作。我们对预训练语言模型进行微调,以模仿人类的网络搜索行为并基于所收集事实生成答案。我们基于这些微调模型构建的 LFQA 流水线,在我们的数据集和 DuReader 上分别有 32.5% 和 47.5% 的案例生成的答案不逊于人工撰写的答案。

关键词

引用

@article{arxiv.2305.06849,
  title  = {WebCPM: Interactive Web Search for Chinese Long-form Question Answering},
  author = {Yujia Qin and Zihan Cai and Dian Jin and Lan Yan and Shihao Liang and Kunlun Zhu and Yankai Lin and Xu Han and Ning Ding and Huadong Wang and Ruobing Xie and Fanchao Qi and Zhiyuan Liu and Maosong Sun and Jie Zhou},
  journal= {arXiv preprint arXiv:2305.06849},
  year   = {2023}
}

备注

ACL 2023, main conference