一种用于对话式人工智能的统一预训练框架
计算与语言
2021-05-28 v2
摘要
在这项工作中，我们探索了PLATO-2在各种对话系统中的应用，包括开放域对话、知识驱动对话和任务型对话。PLATO-2最初被设计为开放域聊天机器人，通过两阶段课程学习进行训练。在第一阶段，学习一个粗粒度的回复生成模型以拟合简化的一对一映射关系。该模型被应用于任务型对话，因为在任务完成中语义映射往往具有确定性。在第二阶段，进一步学习另一个细粒度生成模型和一个评估模型，分别用于多样化回复生成和连贯性估计。凭借在捕捉一对多映射上的优越能力，此类模型适用于开放域对话和知识驱动对话。为全面评估PLATO-2，我们参与了DSTC9的多个任务，包括开放域对话的交互式评估（Track3-task2）、知识驱动对话的静态评估（Track3-task1）和端到端任务型对话（Track2-task1）。PLATO-2在全部三个任务中均获得第一名，验证了其作为各种对话系统统一框架的有效性。
引用
@article{arxiv.2105.02482,
title = {A Unified Pre-training Framework for Conversational AI},
author = {Siqi Bao and Bingjin Chen and Huang He and Xin Tian and Han Zhou and Fan Wang and Hua Wu and Haifeng Wang and Wenquan Wu and Yingzhan Lin},
journal= {arXiv preprint arXiv:2105.02482},
year = {2021}
}
备注
Presented at AAAI-21 DSTC9 Workshop. First five authors contributed equally to this work