REVERIE：真实室内环境中的远程具身视觉指代表达
计算机视觉与模式识别
2020-01-07 v2 计算与语言
摘要
机器人技术的长期挑战之一，是使机器人能够通过自然语言在视觉世界中与人类交互，因为人类是通过语言交流的视觉动物。克服这一挑战需要能够响应人类五花八门的指令来执行各种各样复杂任务的能力。为推动更灵活、更强大的人机交互进展，我们提出一个由自然语言描述、包含多样复杂机器人任务的数据集，任务涉及大量真实图像中可见的物体。给定一条指令，成功需要在先前未见过的环境中导航以识别一个物体。这代表了一项实际挑战，但也紧密反映了机器人核心视觉问题之一。我们测试了几种最先进的视觉-语言导航和指代表达模型以验证这一新任务的难度，但它们均未展现出有前景的结果，因为我们的任务与先前任务存在许多根本性差异。我们还提出了一种新颖的交互式导航-指向模型，为该任务提供了强基线。所提模型尤其在未见过测试集划分上取得最佳性能，但相比人类表现仍有很大改进空间。
引用
@article{arxiv.1904.10151,
title = {REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments},
author = {Yuankai Qi and Qi Wu and Peter Anderson and Xin Wang and William Yang Wang and Chunhua Shen and Anton van den Hengel},
journal= {arXiv preprint arXiv:1904.10151},
year = {2020}
}