利用频率感知交叉熵损失改进神经响应多样性
信息检索
2019-02-26 v1 计算与语言
机器学习
摘要
序列到序列（Seq2Seq）模型在对话响应生成任务上取得了令人鼓舞的性能。然而，现有的基于Seq2Seq的响应生成方法存在低多样性问题：它们频繁生成通用响应，使对话缺乏趣味。在本文中，我们通过考察该问题与模型在预测分布中反映出的过度自信之间的关联来解决低多样性问题。具体而言，我们首先分析常用的交叉熵（CE）损失函数的影响，发现CE损失函数偏好高频词元，这导致低多样性响应。我们随后提出一种频率感知交叉熵（FACE）损失函数，通过引入以词元频率为条件的加权机制改进CE损失函数。在基准数据集上的大量实验表明，FACE损失函数能够在自动和人工评估两方面大幅改进现有最先进Seq2Seq响应生成方法的多样性。
引用
@article{arxiv.1902.09191,
title = {Improving Neural Response Diversity with Frequency-Aware Cross-Entropy Loss},
author = {Shaojie Jiang and Pengjie Ren and Christof Monz and Maarten de Rijke},
journal= {arXiv preprint arXiv:1902.09191},
year = {2019}
}
备注
Will appear at The Web Conference 2019