RREx-BoT:基于一揽子技巧的远程指代表达理解
机器人学
2023-01-31 v1 人工智能
计算机视觉与模式识别
摘要
家用机器人在同一空间运行数年。此类机器人增量式构建可用于需远程物体定位任务的动态地图。然而,机器人学习中的基准常通过在未观测环境中推理任务来测试泛化。在已观测环境中,定位物体简化为从环境中所有物体提议(可能达数十万计)中选择。凭借这一直觉,仅使用带有针对 3D 编码微小修改的通用视觉-语言评分模型并在具身环境中运行,我们在 REVERIE 上展示了相较最先进模型远程物体接地绝对性能提升 9.84%,在 FAO 上提升 5.04%。当允许预探索环境时,我们也超越了先前 REVERIE 上的最先进预探索方法。此外,我们在真实 TurtleBot 平台上演示了模型,凸显了该方法的简洁与实用。我们的分析勾勒出完成此任务必不可少的“一揽子技巧”,从利用 3D 坐标与上下文,到将视觉-语言模型泛化至大型 3D 搜索空间。
引用
@article{arxiv.2301.12614,
title = {RREx-BoT: Remote Referring Expressions with a Bag of Tricks},
author = {Gunnar A. Sigurdsson and Jesse Thomason and Gaurav S. Sukhatme and Robinson Piramuthu},
journal= {arXiv preprint arXiv:2301.12614},
year = {2023}
}