EVA：一个基于大规模生成式预训练的开放域中文对话系统
计算与语言
2021-08-04 v1 人工智能
摘要
尽管预训练语言模型显著增强了对话系统的生成能力，但与英文系统相比，开放域中文对话系统仍受限于对话数据和模型规模。本文提出 EVA，一个包含最大中文预训练对话模型（拥有 28 亿参数）的中文对话系统。为构建此模型，我们从各种公开社交媒体收集了最大的中文对话数据集 WDC-Dialogue。该数据集包含 14 亿上下文-回复对，并用作 EVA 的预训练语料。自动评估和人工评估的大量实验表明，EVA 优于其他中文预训练对话模型，尤其是在人机对话的多轮交互方面。
引用
@article{arxiv.2108.01547,
title = {EVA: An Open-Domain Chinese Dialogue System with Large-Scale Generative Pre-Training},
author = {Hao Zhou and Pei Ke and Zheng Zhang and Yuxian Gu and Yinhe Zheng and Chujie Zheng and Yida Wang and Chen Henry Wu and Hao Sun and Xiaocong Yang and Bosi Wen and Xiaoyan Zhu and Minlie Huang and Jie Tang},
journal= {arXiv preprint arXiv:2108.01547},
year = {2021}
}
备注
8 pages, 4 figures