面向任务型对话的噪声信道模型预训练
计算与语言
2021-03-22 v1 人工智能
机器学习
摘要
已知任务型对话的直接解码会遭受解释 away 效应,表现为模型偏好简短而通用的回复。此处我们主张使用贝叶斯定理将对话任务分解为两个模型:给定回复的上下文分布,以及回复自身的先验。该方法作为噪声信道模型的一种实例化,既缓解了解释 away 效应,又允许以原则性方式将大型预训练模型纳入回复先验。我们给出大量实验表明,与直接解码相比噪声信道模型解码出更好的回复,且采用开放域与任务型对话数据的两阶段预训练策略优于随机初始化模型。
引用
@article{arxiv.2103.10518,
title = {Pretraining the Noisy Channel Model for Task-Oriented Dialogue},
author = {Qi Liu and Lei Yu and Laura Rimell and Phil Blunsom},
journal= {arXiv preprint arXiv:2103.10518},
year = {2021}
}
备注
Accepted to TACL, pre MIT Press publication version