GODEL：面向目标导向对话的大规模预训练
计算与语言
2022-06-24 v1
摘要
我们提出GODEL（Grounded Open Dialogue Language Model，基于外部信息的开放对话语言模型），一种用于对话的大规模预训练语言模型。与DialoGPT等早期模型不同，GODEL利用一个新的基于外部信息的预训练阶段，旨在更好地支持将GODEL适配到广泛的下游对话任务，这些任务需要当前对话之外的信息（如数据库或文档）以生成良好回复。在涵盖任务导向对话、对话式问答和基于外部信息的开放域对话的一系列基准上的实验表明，在少样本微调设置下，无论人工还是自动评估，GODEL均优于最先进的预训练对话模型。我们评估方法的一个新颖之处在于引入了效用（utility）概念，除回复的交际特征（内在评估）外，还评估回复的有用性（外在评估）。我们表明外在评估提供了更好的标注者间一致性以及与自动指标的相关性。代码与数据处理脚本已公开可用。
引用
@article{arxiv.2206.11309,
title = {GODEL: Large-Scale Pre-Training for Goal-Directed Dialog},
author = {Baolin Peng and Michel Galley and Pengcheng He and Chris Brockett and Lars Liden and Elnaz Nouri and Zhou Yu and Bill Dolan and Jianfeng Gao},
journal= {arXiv preprint arXiv:2206.11309},
year = {2022}
}