野外4D人体-场景重建的联合优化
计算机视觉与模式识别
2026-02-27 v2
摘要
重建人体运动及其周围环境对于理解人体-场景交互和预测场景中人体运动至关重要。虽然在受限环境中已取得显著进展，但这些先前方法几乎无法从网络视频中重建自然且多样化的人体运动和场景情境。本文提出一种新颖的优化方法——JOSH，用于从单目视频中实现野外4D人体-场景重建。JOSH采用稠密场景重建和人体网格恢复中的技术作为初始化，然后利用人体-场景接触约束对场景、相机位姿和人体运动进行联合优化。实验结果表明，JOSH在全局人体运动估计和稠密场景重建方面均取得更好成果，通过场景几何与人体运动的联合优化实现。我们进一步设计了更高效的模型JOSH3R，并直接使用来自网络视频的伪标签进行训练。JOSH3R仅通过训练从JOSH预测的标签，显著优于其他无优化方法，进一步证明了其准确性和泛化能力。
引用
@article{arxiv.2501.02158,
title = {Joint Optimization for 4D Human-Scene Reconstruction in the Wild},
author = {Zhizheng Liu and Joe Lin and Wayne Wu and Bolei Zhou},
journal= {arXiv preprint arXiv:2501.02158},
year = {2026}
}
备注
Project Page: https://vail-ucla.github.io/JOSH/