R$^3$L：基于相对空间关系的3D布局推理
计算机视觉与模式识别
2026-05-20 v2 人工智能
机器学习
机器人学
摘要
相对空间关系提供了空间结构的紧凑表示，是3D布局生成中相对空间推理的基础。近期工作利用多模态大语言模型（MLLMs）来推断此类关系，但推断出的关系通常不可靠，且往往通过事后启发式方法处理。在本文中，我们提出了 RL，一个用于提升3D布局生成中相对空间推理可靠性与一致性的一般框架。我们的核心动机在于，多跳推理需要反复进行参考系变换，这会在推断关系中累积误差并导致语义与度量漂移。为缓解此问题，我们提出不变空间分解以打破耦合的关系链，并提出一致性空间想象通过“想象-修正”循环促进自洽性。我们进一步引入支持性空间优化，通过从全局到局部的坐标重参数化来简化位姿优化。在多种场景类型和指令上的大量实验表明，RL 能生成物理上更可行、语义上更一致的布局。值得注意的是，我们的分析表明，解决由参考系引发的不一致性对于可靠的多跳相对空间推理至关重要。代码可在 https://github.com/Neal2020GitHub/R3L 获取。
引用
@article{arxiv.2605.06758,
title = {R$^3$L: Reasoning 3D Layouts from Relative Spatial Relations},
author = {Zhifeng Gu and Yuqi Wang and Bing Wang},
journal= {arXiv preprint arXiv:2605.06758},
year = {2026}
}
备注
Accepted to ICML 2026