另一种用于神经对话生成的多样性促进目标函数
计算与语言
2018-11-22 v2
摘要
尽管基于生成的对话系统已被广泛研究，但大多数现有系统的回复生成多样性很低。该问题最可能的原因是采用带 Softmax 交叉熵（SCE）损失的最大似然估计（MLE）。MLE 训练模型从海量生成候选中生成最频繁的回复，而在实际对话中基于上下文存在多种回复。本文提出一种称为逆词频（ITF）损失的新目标函数，它对频繁词类单独赋予较小损失、对稀有词类赋予较大损失。该函数鼓励模型生成稀有词而非频繁词。由于仅替换目标函数，它不使模型复杂化且训练稳定。在 OpenSubtitles 对话数据集上，我们的损失模型取得了 SOTA 的 DIST-1（即一元组多样性分数）7.56，同时保持了良好的 BLEU-1 分数。在一个日语 Twitter 回复数据集上，我们的损失模型取得了与真实值相当的 DIST-1 分数。
引用
@article{arxiv.1811.08100,
title = {Another Diversity-Promoting Objective Function for Neural Dialogue Generation},
author = {Ryo Nakamura and Katsuhito Sudoh and Koichiro Yoshino and Satoshi Nakamura},
journal= {arXiv preprint arXiv:1811.08100},
year = {2018}
}
备注
AAAI 2019 Workshop on Reasoning and Learning for Human-Machine Dialogues (DEEP-DIAL 2019)