二维世界中交互式接地语言习得与泛化
计算与语言
2018-08-15 v4 人工智能
机器学习
摘要
我们构建了一个在二维迷宫般世界中学习语言的虚拟智能体。该智能体观察周围环境的图像，聆听虚拟教师，并采取动作以获取奖励。它基于两种语言使用场景从零开始交互式地学习教师的语言：句子导向的导航与问答。它同时学习世界的视觉表征、语言以及动作控制。通过将语言接地与其他计算例程解耦，并在语言接地与预测之间共享概念检测函数，该智能体能够可靠地插值与外推以解释包含训练中句子未出现的新词组合或新词的句子。新词从语言预测的回答中迁移而来。此种语言能力在一个由超过160万条不同句子组成、包含119个物体词、8个颜色词、9个空间关系词和50个语法词的人群上进行了训练与评估。所提模型在解释零样本句子方面显著优于五种对比方法。此外，我们在附录中展示了模型具有人类可解释的中间输出。
引用
@article{arxiv.1802.01433,
title = {Interactive Grounded Language Acquisition and Generalization in a 2D World},
author = {Haonan Yu and Haichao Zhang and Wei Xu},
journal= {arXiv preprint arXiv:1802.01433},
year = {2018}
}
备注
ICLR 2018 (Figure 6 caption improved)