AvgOut：一种消除平淡回复的简单输出概率度量

许多序列到序列对话模型倾向于生成安全、无信息的回复。已有各种有益尝试试图消除它们。然而，这些方法要么在推理期间改进解码算法，要么依赖手工特征，要么采用复杂模型。在我们的工作中，我们构建动态感知哪些话语或词元是平淡的对话模型，且无需任何特征工程。具体而言，我们从一个简单而有效的自动度量AvgOut入手，它计算训练期间解码端所有时间步的平均输出概率分布。该度量直接估计哪些词元更可能被生成，从而使其成为模型多样性（即对于多样化模型，词元概率应更均匀分布而非集中在少数平淡词元上）的忠实评估。我们随后利用这一新度量提出三种在不损失相关性前提下提升多样性的模型。第一个模型MinAvgOut通过每批次的输出分布直接最大化多样性分数；第二个模型Label Fine-Tuning（LFT）在源序列前附加一个由多样性分数连续缩放的标签以控制多样性水平；第三个模型RL采用强化学习并将多样性分数作为奖励信号。此外，我们通过结合MinAvgOut和RL的损失项实验了一个混合模型。所有四个模型在多样性和相关性上都大幅优于其基础LSTM-RNN模型，并且可与竞争基线媲美或更好（也通过人工评估验证）。而且，我们的方法与基础模型正交，使其可作为附加模块应用于未来其他新兴的更优对话模型。