面向信息访问的对话智能体端到端强化学习
计算与语言
2017-04-21 v3 机器学习
摘要
本文提出了 KB-InfoBot——一个多轮对话智能体，可帮助用户搜索知识库而无需构造复杂的查询。此类面向目标的对话智能体通常需要与外部数据库交互以访问现实世界知识。以往的系统通过向 KB 发出符号查询来基于属性检索条目以实现这一点。然而，此类符号操作破坏了系统的可微性，阻碍了神经对话智能体的端到端训练。在本文中，我们通过用 KB 上诱导的“软”后验分布替换符号查询来解决这一局限性，该分布指示了用户感兴趣的实体。将软检索过程与强化学习器集成，在模拟和真实用户场景下均带来了更高的任务成功率和奖励。我们还提出了一个完全神经的端到端智能体，完全基于用户反馈进行训练，并讨论了其在个性化对话智能体方面的应用。源代码可在 https://github.com/MiuLab/KB-InfoBot 获取。
引用
@article{arxiv.1609.00777,
title = {Towards End-to-End Reinforcement Learning of Dialogue Agents for Information Access},
author = {Bhuwan Dhingra and Lihong Li and Xiujun Li and Jianfeng Gao and Yun-Nung Chen and Faisal Ahmed and Li Deng},
journal= {arXiv preprint arXiv:1609.00777},
year = {2017}
}
备注
Accepted at ACL 2017