FutureTOD：将未来知识教给预训练语言模型以用于任务型对话
计算与语言
2023-06-21 v1
摘要
基于通用文本的预训练语言模型在 NLP 场景中取得了巨大成功。但通用文本与任务型对话在语言模式上的本质差异，使现有预训练语言模型在实践中效用有限。当前对话预训练方法依赖对比框架，面临真实正例与困难负例选择的双重挑战。本文提出一种新颖的对话预训练模型 FutureTOD，它利用自训练框架将未来知识蒸馏到先前对话上下文的表示中。我们的直觉是，好的对话表示既学习局部上下文信息，又预测未来信息。在多种下游对话任务上的大量实验证明了我们模型的有效性，尤其是其泛化性、鲁棒性以及学习判别性对话表示的能力。
引用
@article{arxiv.2306.10315,
title = {FutureTOD: Teaching Future Knowledge to Pre-trained Language Model for Task-Oriented Dialogue},
author = {Weihao Zeng and Keqing He and Yejie Wang and Chen Zeng and Jingang Wang and Yunsen Xian and Weiran Xu},
journal= {arXiv preprint arXiv:2306.10315},
year = {2023}
}
备注
ACL 2023 Main Conference