序列到序列模型为何如此乏味？理解聊天机器人的低多样性问题
计算与语言
2018-09-07 v1 人工智能
摘要
多样性是信息检索中一个长期研究的课题，通常指检索结果应不重复并覆盖不同方面的要求。在对话场景中，多样性的另一个维度至关重要：一个引人入胜的回复生成系统应能够输出多样且有趣的回复。序列到序列(Seq2Seq)模型已被证明对回复生成非常有效。然而，由 Seq2Seq 模型生成的对话回复往往多样性较低。本文回顾了该低多样性问题的已知来源与现有方法。我们还识别出一个迄今鲜有研究的低多样性来源，即模型过度自信。我们勾勒了若干解决模型过度自信从而应对低多样性问题的方向，包括置信度惩罚与标签平滑。
引用
@article{arxiv.1809.01941,
title = {Why are Sequence-to-Sequence Models So Dull? Understanding the Low-Diversity Problem of Chatbots},
author = {Shaojie Jiang and Maarten de Rijke},
journal= {arXiv preprint arXiv:1809.01941},
year = {2018}
}