PartRM：用于大规模跨状态重建的部件级动态建模
计算机视觉与模式识别
2025-03-26 v1
摘要
随着对从当前观察和动作预测未来状态的世界模型兴趣增长，准确建模部件级动态已对各种应用变得越来越重要。现有方法（如Puppet-Master）依赖对大规模预训练视频扩散模型进行微调，但由于2D视频表示的局限性和处理速度慢，这些方法在实际应用中不可行。为克服这些挑战，我们提出PartRM，一个新的4D重建框架，同时从静态物体的多视角图像中建模外观、几何和部件级运动。PartRM基于大规模3D高斯重建模型，利用其对静态物体外观和几何的广泛知识。为解决4D数据稀缺问题，我们引入PartDrag-4D数据集，提供20,000多个状态下部件级动态的多视角观察。我们引入多尺度 drag 嵌入模块，以捕捉不同粒度的动态。为防止在微调期间发生灾难性遗忘，我们实施了两个阶段的训练流程，依次聚焦于运动和外观学习。实验结果表明，PartRM在部件级运动学习方面建立了新的最先进技术，并可应用于机器人操作中的操纵任务。我们的代码、数据和模型已公开available，以便未来研究使用。
引用
@article{arxiv.2503.19913,
title = {PartRM: Modeling Part-Level Dynamics with Large Cross-State Reconstruction Model},
author = {Mingju Gao and Yike Pan and Huan-ang Gao and Zongzheng Zhang and Wenyi Li and Hao Dong and Hao Tang and Li Yi and Hao Zhao},
journal= {arXiv preprint arXiv:2503.19913},
year = {2025}
}
备注
Accepted to CVPR 2025. Project Page: https://partrm.c7w.tech/