你好，我是GPT-2——有什么可以帮您？面向面向任务的对话系统中预训练语言模型的使用
计算与语言
2019-08-06 v2
摘要
数据稀缺是长期存在且关键性的挑战，阻碍了面向任务的对话系统在多个领域中的快速开发：面向任务的对话模型被期望从极少数量的任务特定数据中学习语法、句法、对话推理、决策制定与语言生成。在本文中，我们展示了语言建模预训练与迁移学习的最新进展为克服该问题带来希望。我们提出了一种仅以文本作为输入运行的面向任务的对话模型：它有效绕过了显式的策略与语言生成模块。基于TransferTransfo框架（Wolf等人，2019）与生成模型预训练（Radford等人，2019），我们在来自MultiWOZ数据集的复杂多领域面向任务对话上验证了该方法。我们的自动与人工评估表明，所提模型与强大的任务特定神经基线相当。长远来看，我们的方法有望缓解数据稀缺问题，并支持构建更具吸引力与更善表达的面向任务对话智能体。
引用
@article{arxiv.1907.05774,
title = {Hello, It's GPT-2 -- How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems},
author = {Paweł Budzianowski and Ivan Vulić},
journal= {arXiv preprint arXiv:1907.05774},
year = {2019}
}