迈向类人开放域聊天机器人
计算与语言
2020-02-28 v3 机器学习
神经与进化计算
机器学习
摘要
我们提出 Meena，一个在多轮开放域对话数据上端到端训练的多轮开放域聊天机器人，该数据从公共领域社交媒体对话中挖掘并过滤得到。这个 2.6B 参数的神经网络仅被训练来最小化下一词元的困惑度。我们还提出一种称为合理性与特异性均值（Sensibleness and Specificity Average, SSA）的人类评估指标，其捕捉了类人多轮对话的关键要素。我们的实验表明困惑度与 SSA 之间存在强相关性。最佳困惑度的端到端训练 Meena 在 SSA 上得分较高（多轮评估中为 72%）这一事实表明，如果我们能更好地优化困惑度，达到 86% 的人类水平 SSA 是潜在可实现的。此外，完整版 Meena（带有过滤机制和调优解码）得分为 79% SSA，比我们所评估的现有聊天机器人在绝对 SSA 上高出 23%。
引用
@article{arxiv.2001.09977,
title = {Towards a Human-like Open-Domain Chatbot},
author = {Daniel Adiwardana and Minh-Thang Luong and David R. So and Jamie Hall and Noah Fiedel and Romal Thoppilan and Zi Yang and Apoorv Kulshreshtha and Gaurav Nemade and Yifeng Lu and Quoc V. Le},
journal= {arXiv preprint arXiv:2001.09977},
year = {2020}
}
备注
38 pages, 12 figures