利用铰接式 3D Gaussian Splatting 学习高保真机器人自模型
机器人学
2025-11-17 v2 计算机视觉与模式识别
摘要
自建模使机器人能够基于可自动收集的数据，在最少的人工干预和先验信息下，构建其形态学和运动学的任务无关模型，从而增强机器智能。最近的研究强调了数据驱动技术在机器人形态学和运动学建模方面的潜力。然而，现有的自建模方法要么建模质量低，要么数据获取成本过高。除了形态学和运动学之外，纹理也是机器人的一个关键组成部分，其建模具有挑战性且尚未被探索。在本工作中，我们提出了一种高质量、纹理感知且关节级别的方法用于机器人自建模。我们利用三维 (3D) 高斯表示机器人的静态形态和纹理，并对 3D 高斯进行聚类以构建神经椭球骨骼，其变形由运动学神经网络生成的变换矩阵控制。3D 高斯和运动学神经网络使用由关节角度、相机参数和多视图图像（无深度信息）组成的数据对进行训练。通过将关节角度输入运动学神经网络，我们可以利用训练好的模型在关节级别描述机器人相应的形态、运动学和纹理，并借助 3D Gaussian Splatting 从不同视角渲染机器人图像。此外，我们证明所建立的模型可用于执行运动规划和逆运动学等下游任务。
引用
@article{arxiv.2503.05398,
title = {Learning High-Fidelity Robot Self-Model with Articulated 3D Gaussian Splatting},
author = {Kejun Hu and Peng Yu and Ning Tan},
journal= {arXiv preprint arXiv:2503.05398},
year = {2025}
}
备注
This paper is accepted by IJRR. The code will be open-sourced on GitHub as soon as possible after the paper is officially published