ChatPLUG：面向数字人的具有互联网增强指令微调的开放域生成式对话系统
计算与语言
2023-05-16 v3
摘要
在本文中，我们提出 ChatPLUG，一个用于数字人应用的中文开放域对话系统，它以统一的互联网增强格式对广泛的对话任务进行指令微调（instruction finetune）。与其他专注于大规模预训练、扩大模型规模或对话语料的开放域对话模型不同，我们的目标是通过互联网增强指令微调构建一个具备多样技能且具良好多任务泛化能力的强大而实用的数字人对话系统。为此，我们首先在通用文档语料和对话数据上以课程学习进行大规模预训练，从而将各类世界知识和对话能力注入 ChatPLUG。然后，我们收集涵盖知识、个性、多轮记忆和共情等多样特征的广泛对话任务，并在其上通过统一的自然语言指令模板进一步对模型进行指令微调。来自互联网搜索的外部知识也在指令微调期间使用，以缓解知识幻觉问题。我们表明 ChatPLUG 在自动和人工评估上均优于最先进的中文对话系统，并在多种文本理解与生成任务上展现出强大的多任务泛化能力。此外，我们将 ChatPLUG 部署到智能音箱和即时消息等具有快速推理的真实世界应用中。我们的模型和代码将公开于 ModelScope: https://modelscope.cn/models/damo/ChatPLUG-3.7B 和 Github: https://github.com/X-PLUG/ChatPLUG 。
引用
@article{arxiv.2304.07849,
title = {ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human},
author = {Junfeng Tian and Hehong Chen and Guohai Xu and Ming Yan and Xing Gao and Jianhai Zhang and Chenliang Li and Jiayi Liu and Wenshen Xu and Haiyang Xu and Qi Qian and Wei Wang and Qinghao Ye and Jiejing Zhang and Ji Zhang and Fei Huang and Jingren Zhou},
journal= {arXiv preprint arXiv:2304.07849},
year = {2023}
}
备注
36 pages