机器人的居住世界模型
计算机视觉与模式识别
2025-05-12 v1 机器人学
摘要
理解和预测场景演化深刻影响到具身智能体的探索和决策。虽然传统方法通过预测潜在实例的轨迹来模拟场景演化，但当前方法在户外结构化道路场景上进行聚类，忽略了对机器人在室内场景中3D居住场景演化预测的探索。本文提出一种新的框架，用于学习观察到的细粒度居住的演化，提出一种基于组合时空感受野和引导自回归变换器的居住世界模型，称为 RoboOccWorld。我们提出条件因果状态注意（CCSA），利用下一状态的相机姿态作为条件，引导自回归变换器适应和理解室内机器人场景。在有效利用历史观察的时空线索方面，我们提出混合时空聚合（HSTA），基于多尺度时空窗口获取组合时空感受野。此外，我们基于局部标注重构 OccWorld-ScanNet 基准，促进室内3D居住场景演化预测任务的评估。实验结果表明，RoboOccWorld 在室内3D居住场景演化预测任务中超越了最先进的方法。代码将很快公开。
引用
@article{arxiv.2505.05512,
title = {Occupancy World Model for Robots},
author = {Zhang Zhang and Qiang Zhang and Wei Cui and Shuai Shi and Yijie Guo and Gang Han and Wen Zhao and Jingkai Sun and Jiahang Cao and Jiaxu Wang and Hao Cheng and Xiaozhu Ju and Zhengping Che and Renjing Xu and Jian Tang},
journal= {arXiv preprint arXiv:2505.05512},
year = {2025}
}