Vid2Sim：基于视频的无网格仿真的通用化几何、外观与物理重建
图形学
2025-06-10 v1 计算机视觉与模式识别
摘要
可信地从视频重建带纹理的形状和物理属性是一个颇具挑战性的问题。该领域已致力于推进此类系统识别问题。以往的方法常依赖可微分仿真器和渲染器，需进行大量超参数调优才能适用于每个场景，且优化过程代价高昂，限制了其实用性和可泛化性。本文提出了一种新框架 Vid2Sim，一种通用视频方法，通过基于线性混合皮肤骨骼 (LBS) 的无网格简化仿真来恢复几何和物理属性，具备高计算效率和灵活的表示能力。具体而言，Vid2Sim 首先通过一个用于捕捉物理世界知识的前馈神经网络，从视频中重建物理系统的观察配置。随后，采用轻量级优化管线，在仅需几分钟内细化估计的外观、几何和物理属性，使其与视频观察结果高度一致。此外，在重建后，Vid2Sim 可实现高质量、无网格的高效仿真。大量实验表明，我们的方法在从视频数据重建几何和物理属性方面实现了卓越的精度和效率。
引用
@article{arxiv.2506.06440,
title = {Vid2Sim: Generalizable, Video-based Reconstruction of Appearance, Geometry and Physics for Mesh-free Simulation},
author = {Chuhao Chen and Zhiyang Dou and Chen Wang and Yiming Huang and Anjun Chen and Qiao Feng and Jiatao Gu and Lingjie Liu},
journal= {arXiv preprint arXiv:2506.06440},
year = {2025}
}
备注
Accepted by CVPR 2025