USA-Net：面向机器人记忆的统一语义与可供性表示
机器人学
2023-04-26 v2 人工智能
摘要
为了让机器人能够遵循诸如“去打开水槽上方棕色橱柜”这类开放式指令，它们需要理解场景几何及其环境的语义。机器人系统通常通过独立的流水线处理这些任务，有时使用差异很大的表示空间，当两项目标冲突时这可能并非最优。在本工作中，我们提出 USA-Net，一种构建世界表示的简单方法，该方法在可微地图中编码场景的语义与空间可供性。这使我们能够构建一个基于梯度的规划器，可导航至使用开放式词汇指定的场景位置。我们使用该规划器持续生成比来自可比的、未利用梯度信息的基于网格的规划器的路径更短（短 5-10%）且在 CLIP 嵌入空间中离目标查询近 10-30% 的轨迹。据我们所知，这是首个在单一隐式地图中针对语义与可供性同时进行优化的端到端可微规划器。代码与可视化见我们的网站：https://usa.bolte.cc/
引用
@article{arxiv.2304.12164,
title = {USA-Net: Unified Semantic and Affordance Representations for Robot Memory},
author = {Benjamin Bolte and Austin Wang and Jimmy Yang and Mustafa Mukadam and Mrinal Kalakrishnan and Chris Paxton},
journal= {arXiv preprint arXiv:2304.12164},
year = {2023}
}