UniPCM：基于任务感知自动提示的通用预训练对话模型
计算与语言
2023-09-21 v1
摘要
近期研究表明，多任务预训练显著提升了模型的鲁棒性与迁移能力，这对构建高质量对话系统至关重要。然而，以往多数多任务预训练工作严重依赖人工定义的输入格式或提示，其在质量与数量上均非最优。本工作中，我们提出使用基于任务的自动提示生成（TAP）来自动生成高质量提示。利用所生成的高质量提示，我们将预训练对话模型的语料扩展至来自 15 个对话相关任务的 122 个数据集，从而构建了通用预训练对话模型（UniPCM）——一个面向各类对话任务与不同对话系统的强大基础模型。大量实验表明，UniPCM 对输入提示具有鲁棒性，且能够胜任多种对话相关任务。此外，UniPCM 具备强大的迁移能力，并在低资源场景下表现优异，在从任务导向对话到开放域对话的 9 个不同数据集上取得了 SOTA 结果。进一步，我们惊讶地发现 TAP 生成的提示可与众包收集的提示相媲美。代码已随论文发布。
引用
@article{arxiv.2309.11065,
title = {UniPCM: Universal Pre-trained Conversation Model with Task-aware Automatic Prompt},
author = {Yucheng Cai and Wentao Ma and Yuchuan Wu and Shuzheng Si and Yuan Shao and Zhijian Ou and Yongbin Li},
journal= {arXiv preprint arXiv:2309.11065},
year = {2023}
}