面向对话的训练与推断间自适应桥接
计算与语言
2021-10-25 v1 人机交互
摘要
尽管暴露偏差（exposure bias）已在一些NLP任务中被广泛研究，它在对话响应生成这一具代表性的“一对多”生成场景中面临独特挑战。在真实人类对话中，同一上下文存在许多恰当响应，不仅表达不同，话题亦异。因此，由于各种真值响应与生成的合成响应间差距更大，暴露偏差在对话生成任务中更具挑战性。此外，由于最大似然估计（MLE）促使模型仅学习不同真值响应间的共性词，而忽略有趣且特定的部分，暴露偏差可能进一步导致通用响应生成问题，如“I don't know”与“HaHa?”。本文提出一种新颖的自适应切换机制，其根据词级匹配分数（如余弦相似度）学习在真值学习与生成学习间自动转换。在中文STC数据集与英文Reddit数据集上的实验结果表明，相较于SOTA暴露偏差方法，我们的自适应方法在基于指标的评估与人工评估上均取得显著提升。对神经机器翻译（NMT）任务的进一步分析也显示我们的模型能取得显著提升。
引用
@article{arxiv.2110.11560,
title = {Adaptive Bridge between Training and Inference for Dialogue},
author = {Haoran Xu and Hainan Zhang and Yanyan Zou and Hongshen Chen and Zhuoye Ding and Yanyan Lan},
journal= {arXiv preprint arXiv:2110.11560},
year = {2021}
}
备注
EMNLP2021