BoK：引入基于关键词的损失函数以实现可解释的对话响应生成

标准语言建模（LM）损失单独使用已被证明不足以有效建模对话。因此，正在采取各种训练方法，如辅助损失函数和利用人类反馈，以丰富开放域对话系统。其中一种辅助损失函数为基于词袋（Bag-of-Words，BoW）损失，定义为预测下一个话语中所有词/标记的交叉熵损失。本文提出一种新型辅助损失，称为基于关键词（Bag-of-Keywords，BoK）损失，通过关键词预测来捕捉响应的核心思想，并利用其来增强开放域对话系统中有意义且可解释响应的生成。BoK 损失通过仅预测下一个话语中的关键词或关键词/标记来升级 BoW 损失，旨在估计核心思想而非整个响应。我们在编码器-解码器（T5）和仅解码器（DialoGPT）架构中集成 BoK 损失，训练模型以最小化 BoK 与 LM（BoK-LM）损失的加权和。在两个流行的开放域对话数据集上进行实验，分别为 DailyDialog 和 Persona-Chat。我们表明，加入 BoK 损失在 backbone 模型基础上改善了对话生成，同时也实现了事后可解释性。我们还研究了 BoK-LM 损失作为无参考评估指标的效果，观察到在 various dialogue evaluation 数据集上表现与 SOTA 指标相当。