March in Chat：面向远程具身指代表达的交互式提示
计算机视觉与模式识别
2023-08-22 v1
摘要
近年来提出了许多视觉与语言导航（VLN）任务，从基于房间到基于物体、从室内到室外。REVERIE（远程具身指代表达）很有趣，因为它仅向智能体提供高层指令，这更接近实际中的人类命令。然而，这比其他 VLN 任务带来更多挑战，因为它要求智能体仅基于简短指令推断导航计划。大语言模型（LLMs）通过提供恰当提示在机器人动作规划中展现出巨大潜力。然而，该策略尚未在 REVERIE 设定下被探索。存在若干新挑战。例如，LLM 应具备环境感知能力，以便基于当前视觉观测调整导航计划。此外，LLM 规划的动作应能适应更大且更复杂的 REVERIE 环境。本文提出一种 March-in-Chat（MiC）模型，该模型可即时与 LLM 对话，并基于新提出的房间与物体感知场景感知器（ROASP）进行动态规划。我们的 MiC 模型在 REVERIE 基准上以 SPL 和 RGSPL 指标大幅优于先前的最先进方法。
引用
@article{arxiv.2308.10141,
title = {March in Chat: Interactive Prompting for Remote Embodied Referring Expression},
author = {Yanyuan Qiao and Yuankai Qi and Zheng Yu and Jing Liu and Qi Wu},
journal= {arXiv preprint arXiv:2308.10141},
year = {2023}
}
备注
Accepted by ICCV 2023