ProJo4D：稀疏视图逆向物理估计的渐进式联合优化
计算机视觉与模式识别
2026-05-20 v3
摘要
神经渲染在 3D 重建和新视角合成方面取得了显著进展，将物理引入这些框架开辟了新的应用领域，如为机器人和 XR 提供物理准确的数字孪生体。然而，基于视觉观察估计物理参数的逆问题仍具有挑战性。现有的物理感知神经渲染方法通常需要密集的多视角视频，难以在可扩展的实际部署中实用。在稀疏视图设置下，当前方法所采用的顺序优化策略 suffer from severe error accumulation：初始 3D 重建中的不准确会传播到后续阶段，导致物理状态和材料参数估计退化。另一方面，对所有参数进行联合优化也失败，由于该问题高度非凸且常常不可微。我们提出 ProJo4D，一种渐进式联合优化框架，逐步扩大联合优化参数的集合。这种设计使物理感知梯度能够在几何上进行细化，同时避免对所有参数直接联合优化的不稳定性。在合成和真实数据集上的评估显示，ProJo4D 在 4D 未来状态预测和物理参数估计方面显著优于先前工作，几何精度提升最高可达 10 倍，同时保持计算效率。请访问项目网页：https://daniel03c1.github.io/ProJo4D/
引用
@article{arxiv.2506.05317,
title = {ProJo4D: Progressive Joint Optimization for Sparse-View Inverse Physics Estimation},
author = {Daniel Rho and Jun Myeong Choi and Biswadip Dey and Roni Sengupta},
journal= {arXiv preprint arXiv:2506.05317},
year = {2026}
}
备注
TMLR 2026