DialoGPT：面向对话回复生成的大规模生成式预训练
计算与语言
2020-05-05 v3 机器学习
摘要
我们提出了一个大规模、可调的神经网络对话回复生成模型 DialoGPT（dialogue generative pre-trained transformer，对话生成式预训练 Transformer）。该模型在从 Reddit 评论链中提取的 1.47 亿条类对话交互上训练，数据时间跨度为 2005 年至 2017 年；DialoGPT 扩展了 Hugging Face PyTorch transformer，在单轮对话场景下，无论是自动评测还是人工评测，其表现都接近人类水平。我们表明，采用 DialoGPT 的对话系统比强基线系统生成出更相关、更具内容且上下文一致的回复。我们公开了预训练模型与训练流程，以促进神经回复生成的研究以及更智能的开放域对话系统的开发。
引用
@article{arxiv.1911.00536,
title = {DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation},
author = {Yizhe Zhang and Siqi Sun and Michel Galley and Yen-Chun Chen and Chris Brockett and Xiang Gao and Jianfeng Gao and Jingjing Liu and Bill Dolan},
journal= {arXiv preprint arXiv:1911.00536},
year = {2020}
}
备注
Accepted by ACL 2020 system demonstration