引导式特征变换 (GFT)：一种面向具身智能体的神经语言落地模块
人工智能
2018-09-06 v2 计算与语言
机器学习
机器人学
摘要
近年来，通过深度强化学习训练部署在虚拟环境中的智能体执行语言指令任务引起了越来越多的关注。本文提出一种简单而有效的具身智能体神经语言落地模块，可从零开始端到端训练，以原始像素、非结构化语言指令和稀疏奖励作为输入。我们将语言落地过程建模为语言引导的视觉特征变换，其中潜在句子嵌入被用作变换矩阵。在若干具有挑战性的部分可观测性且需要简单推理的语言导向导航任务中，我们的模块显著优于当前最优方法。我们还发布了 XWorld3D，一个易于定制的 3D 环境，可潜在地修改以评估各类具身智能体。
引用
@article{arxiv.1805.08329,
title = {Guided Feature Transformation (GFT): A Neural Language Grounding Module for Embodied Agents},
author = {Haonan Yu and Xiaochen Lian and Haichao Zhang and Wei Xu},
journal= {arXiv preprint arXiv:1805.08329},
year = {2018}
}
备注
CoRL 2018