Re$^3$Dial：检索、重组与重缩放对话语料用于长轮次开放域对话预训练
计算与语言
2023-10-24 v2
摘要
在大规模开放域对话数据上预训练可显著提升对话模型性能。然而，由于长轮次对话会话的稀缺性，预训练对话模型利用长距离上下文的能力受限。现有预训练语料库中的多数对话包含少于三轮对话。为缓解该问题，我们提出检索、重组与重缩放框架（ReDial），其可通过重组现有短轮次对话自动构建十亿级长轮次对话。给定一短轮次会话，ReDial 首先采用会话检索器检索连贯的连续会话。为此，我们通过对比训练训练检索器以捕捉多轮对话内的语义与语篇关系。接着，ReDial 遵循多样性采样策略从检索结果中采样一会话，该策略旨在惩罚重复或通用的会话。随后通过将原始会话与采样会话拼接得到更长会话。通过重复上述过程，ReDial 可生成连贯的长轮次对话。在多个多轮对话基准上的大量实验表明，ReDial 显著提升了对话模型利用长距离上下文的能力，从而生成更合理且信息更丰富的回复。最后，我们构建了一个利用 ReDial 高效重缩放对话的工具包，使我们能构建包含 1B 中文对话会话、平均 11.3 轮（为原始语料的 5 倍长）的语料库。我们的检索器模型、代码与数据公开于 \url{https://github.com/thu-coai/Re3Dial}。
引用
@article{arxiv.2305.02606,
title = {Re$^3$Dial: Retrieve, Reorganize and Rescale Dialogue Corpus for Long-Turn Open-Domain Dialogue Pre-training},
author = {Jiaxin Wen and Hao Zhou and Jian Guan and Minlie Huang},
journal= {arXiv preprint arXiv:2305.02606},
year = {2023}
}
备注
EMNLP 2023 Main Coference