VideoArtGS：从单目视频构建具有关节运动的物体的数字孪生体
计算机视觉与模式识别
2025-09-23 v1 人工智能
机器人学
摘要
从单目视频构建具有关节运动的物体的数字孪生体是计算机视觉中的一个关键挑战，需要从有限视角输入中同时重建物体几何形态、部件分割以及关节参数。单目视频因其简单性和可扩展性而呈现出吸引人的输入格式；然而，仅凭视觉监督难以消除物体几何与部件动态之间的关系，因为相机与部件的联合运动导致估计问题难以确定。虽然来自预训练跟踪模型的运动先验可以缓解此问题，但如何有效地将其集成到关节学习中仍然鲜有探索。为此，我们提出了 VideoArtGS 方法，用于从单目视频重建高保真度的数字孪生体。我们提出了运动先验引导管道，分析 3D 轨迹、滤除噪声，并为关节参数提供可靠的初始化。我们还设计了用于关节变形场的混合中心-网格部件分配模块，以捕捉精确的部件运动。VideoArtGS 在关节估计和网格重建方面表现出领先性能，较现有方法将重建误差降低约两个数量级。VideoArtGS 实现了从单目视频创建实用数字孪生体，为基于视频的具关节物体重建树立了新的基准。我们的工作已公开发布于：https://videoartgs.github.io。
引用
@article{arxiv.2509.17647,
title = {VideoArtGS: Building Digital Twins of Articulated Objects from Monocular Video},
author = {Yu Liu and Baoxiong Jia and Ruijie Lu and Chuyue Gan and Huayu Chen and Junfeng Ni and Song-Chun Zhu and Siyuan Huang},
journal= {arXiv preprint arXiv:2509.17647},
year = {2025}
}