将视觉与语言 grounding 到 3D 掩码，用于长期视程盒子重排
摘要
我们研究了从 under-specified 的自然语言目标使用 only 视觉观察，在 3D 环境中进行 long-horizon planning， focus on 多步骤的 3D 盒子重排任务。现有方法 typically rely on 符号规划器 with 脆弱的关系 grounding 或基于 2D vision-language 模型 (VLMs) 的 direct action-sequence generation。两种方法都 struggle with 对许多对象的推理、rich 3D geometry 和 implicit semantic 约束。最近的 3D VLMs 在 natural-language referents 到 3D segmentation masks 方面 demonstrate strong grounding， 建议 potential 用于 more general 规划能力。我们扩展现有的 3D grounding 模型，提出 Reactive Action Mask Planner (RAMP-3D)，将 long-horizon planning 形式化为 sequential reactive prediction of paired 3D masks：一个 indicate what to pick 的 "which-object" 掩码，和 specify where to place 的 "which-target-region" 掩码。 resulting system 处理 RGB-D 观察和 natural-language task specifications， reactively generate multi-step pick-and-place actions for 3D 盒子重排。我们在包含 1-30 个盒子且具有 diverse natural-language 约束的 warehouse-style 环境中进行实验。RAMP-3D 在 long-horizon 重排任务上 achieve 79.5% 的 success rate， and significantly outperforms 2D VLM-based baselines， establishing mask-based reactive policies 作为 long-horizon planning 的 a promising alternative to symbolic pipelines。
引用
@article{arxiv.2603.23676,
title = {Grounding Vision and Language to 3D Masks for Long-Horizon Box Rearrangement},
author = {Ashish Malik and Caleb Lowe and Aayam Shrestha and Stefan Lee and Fuxin Li and Alan Fern},
journal= {arXiv preprint arXiv:2603.23676},
year = {2026}
}