分类即解码器：神经对话中灵活性与控制力的权衡
计算与语言
2019-10-21 v3 机器学习
摘要
生成式 seq2seq 对话系统被训练用于预测已发生对话中的下一个词。它们可以从大型无标注对话数据集中学习，建立对对话上下文的深层理解，并生成多种多样的回复。这种灵活性以控制力为代价。训练数据中的不良回复会在推理时被模型复现，且较长的生成内容往往不合逻辑。我们不直接逐词生成回复，而是训练一个分类器从预定义的完整回复列表中进行选择。该分类器在（对话上下文，回复类别）对上训练，其中每个回复类别是一组带噪声标注的可互换回复。在推理时，我们生成与预测回复类别相关联的示例回复。专家可随时间编辑并改进这些示例回复，而无需重新训练分类器或使旧训练数据失效。对 775 段未见过的医患对话的人工评估表明，这种权衡改善了回复质量。我们的判别式方法的回复中仅 12% 劣于同一对话上下文中医生的回复，而生成式模型为 18%。一个未使用任何回复类别人工标注的判别模型取得了与生成式模型相当的性能。
引用
@article{arxiv.1910.03476,
title = {Classification As Decoder: Trading Flexibility For Control In Neural Dialogue},
author = {Sam Shleifer and Manish Chablani and Namit Katariya and Anitha Kannan and Xavier Amatriain},
journal= {arXiv preprint arXiv:1910.03476},
year = {2019}
}