帮帮我，Anna！基于回顾性好奇心激励模仿学习的自然多模态辅助视觉导航
人机交互
2019-11-25 v6 人工智能
计算与语言
计算机视觉与模式识别
机器学习
摘要
能够利用人类帮助的移动智能体，有可能完成比单独行动更复杂的任务。我们开发了“帮帮我，Anna！”（HANNA），一个交互式照片级真实感模拟器，其中智能体通过请求并理解自然语言与视觉辅助来完成物体寻找任务。在 HANNA 环境中解决任务的智能体可利用称为 ANNA（Automatic Natural Navigation Assistants，自动自然导航助手）的模拟人类助手，其在被请求时提供自然语言与视觉指令以引导智能体朝向目标。为解决 HANNA 问题，我们开发了具有记忆增强的神经网络智能体，其分层建模多个层次的决策，以及一种模仿学习算法，该算法教导智能体避免重复过去的错误，同时预测其自身取得未来进展的可能性。实证上，我们的方法比竞争基线能更有效地请求帮助，从而在已见和未见环境中均获得更高的任务成功率。我们在 https://github.com/khanhptnk/hanna 公开发布代码与数据。视频演示见 https://youtu.be/18P94aaaLKg 。
引用
@article{arxiv.1909.01871,
title = {Help, Anna! Visual Navigation with Natural Multimodal Assistance via Retrospective Curiosity-Encouraging Imitation Learning},
author = {Khanh Nguyen and Hal Daumé},
journal= {arXiv preprint arXiv:1909.01871},
year = {2019}
}
备注
In EMNLP 2019