SOLOIST：利用迁移学习与机器教学大规模构建任务型对话机器人
计算与语言
2021-04-12 v4 人工智能
机器学习
摘要
我们提出一种新方法SOLOIST，利用迁移学习和机器教学大规模构建任务型对话机器人。我们使用基于Transformer的自回归语言模型对经典模块化任务导向对话系统进行参数化，将不同对话模块归并到单一神经模型中。我们在异构对话语料库上预训练一个任务接地响应生成模型，该模型能生成接地于用户目标和真实世界知识以完成任务的对话响应。预训练模型可通过机器教学以少量任务特定对话高效适配新任务，其中训练样本由人类教师与系统交互生成。实验表明：(i) SOLOIST在包括CamRest676和MultiWOZ在内的公认任务导向对话基准上创造了新的最优水平；(ii) 在少样本微调设定下，SOLOIST显著优于现有方法；(iii) 机器教学的使用大幅降低了微调的标注成本。预训练模型与代码可在 https://aka.ms/soloist 获取。
引用
@article{arxiv.2005.05298,
title = {SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching},
author = {Baolin Peng and Chunyuan Li and Jinchao Li and Shahin Shayandeh and Lars Liden and Jianfeng Gao},
journal= {arXiv preprint arXiv:2005.05298},
year = {2021}
}
备注
18 pages; To appear at TACL; Project Website: https://aka.ms/soloist