ArtGS：用于铰接物体交互式视觉-物理建模与操作的3D高斯泼溅
机器人学
2025-07-04 v1
摘要
由于复杂的运动学约束和现有方法有限的物理推理能力，铰接物体操作仍然是机器人技术中的一个关键挑战。在这项工作中，我们引入了ArtGS，一种新颖的框架，它通过集成视觉-物理建模来扩展3D高斯泼溅(3DGS)，用于铰接物体的理解和交互。ArtGS从多视角RGB-D重建开始，然后使用视觉语言模型(VLM)进行推理，以提取语义和结构信息，特别是铰接骨骼。通过动态、可微分的基于3DGS的渲染，ArtGS优化了铰接骨骼的参数，确保了物理一致的运动约束并增强了操作策略。通过利用动态高斯泼溅、跨实体适应性和闭环优化，ArtGS为高效、可扩展和可泛化的铰接物体建模和操作建立了一个新框架。在仿真和真实世界环境中进行的实验表明，ArtGS在各种铰接物体的关节估计精度和操作成功率方面显著优于先前的方法。附加图片和视频可在项目网站上获取：https://sites.google.com/view/artgs/home
引用
@article{arxiv.2507.02600,
title = {ArtGS:3D Gaussian Splatting for Interactive Visual-Physical Modeling and Manipulation of Articulated Objects},
author = {Qiaojun Yu and Xibin Yuan and Yu jiang and Junting Chen and Dongzhe Zheng and Ce Hao and Yang You and Yixing Chen and Yao Mu and Liu Liu and Cewu Lu},
journal= {arXiv preprint arXiv:2507.02600},
year = {2025}
}
备注
Accepted by IROS 2025