无平行数据的礼貌对话生成

风格化对话响应生成在基于个性的对话智能体中有重要应用，是一项具有挑战性的任务，因为响应需要流畅、与上下文相关且在副语言上准确。此外，常规到风格化配对的平行数据集通常不可得。我们提出三种弱监督模型，可在无平行数据情况下生成多样的礼貌（或无礼）对话响应。我们的后期融合模型（Fusion）将编码器-注意力-解码器对话模型的解码器与在独立礼貌话语上训练的语言模型合并。我们的标签微调（LFT）模型在训练时将礼貌分数缩放标签（由我们最先进的礼貌分类器预测）置于各源序列前，并在测试时能够通过简单地按相应分数缩放标签嵌入来生成礼貌、中性和无礼响应。我们的强化学习模型（Polite-RL）通过分配与采样响应的礼貌分类器分数成正比的奖励来鼓励礼貌生成。我们还给出两个基于检索的礼貌对话模型基线。人工评估证实，尽管 Fusion 与基于检索的模型以较差的上下文相关性实现礼貌，LFT 与 Polite-RL 模型能在不牺牲对话质量的前提下生成显著更有礼貌的响应。