以语义损失训练生成式对话模型效果的简要研究
计算与语言
2021-06-22 v1
摘要
为对话任务中下一话语生成而训练的神经模型，通过学习如负对数似然（NLL）或交叉熵等训练目标来模仿训练集中的n-gram序列。此类常用训练目标并不利于生成对某一上下文的替代表述。但是，最小化一种促使模型生成替代表述并据语义相似度评分的替代训练目标的效果尚未被充分研究。我们假设，语言生成模型可通过在训练中学习生成替代表述并将语义损失作为辅助目标最小化来提升其多样性。我们在面向目标对话的下一话语生成任务上，于两个不同规模的数据集探索该想法。我们得出两点观察：（1）最小化语义目标在较小数据集（Frames）中改善了回答多样性，但在较大数据集（MultiWoZ）中仅与最小化NLL相当；（2）大语言模型嵌入作为语义损失目标可比作为词元嵌入初始化更有用。
引用
@article{arxiv.2106.10619,
title = {A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss},
author = {Prasanna Parthasarathi and Mohamed Abdelsalam and Joelle Pineau and Sarath Chandar},
journal= {arXiv preprint arXiv:2106.10619},
year = {2021}
}
备注
Accepted at SIGDial 2021