SAM-Body4D：基于视频的无训练 4D 人体网格恢复
计算机视觉与模式识别
2025-12-10 v1
摘要
人体网格恢复 (HMR) 旨在从二维观察重建三维人体姿态和形状，是理解现实场景中人体相关信息的基础。虽然最近的基于图像的方法，如 SAM 3D Body 在野生图像上实现了强大的鲁棒性，但它们依赖于逐帧推理应用于视频，导致时序不一致并在遮挡下表现下降。我们在不增加额外训练的前提下，通过利用视频中固有的身体连续性来解决这些问题。我们提出了 SAM-Body4D，一个用于从视频中实现时序一致且具遮挡鲁棒性的 HMR 框架。我们首先使用可提示视频分割模型生成身份一致的 masklet，然后通过遮挡感知模块对其进行细化以恢复丢失的区域。细化后的 masklet 指引 SAM 3D Body 生成一致的全人体网格轨迹，而基于填充的并行策略则实现了高效的多人推理。实验结果表明，SAM-Body4D 在具有挑战性的野生视频中实现了改进的时序稳定性和鲁棒性，且无需任何重新训练。我们的代码和演示已提供：https://github.com/gaomingqi/sam-body4d。
引用
@article{arxiv.2512.08406,
title = {SAM-Body4D: Training-Free 4D Human Body Mesh Recovery from Videos},
author = {Mingqi Gao and Yunqi Miao and Jungong Han},
journal= {arXiv preprint arXiv:2512.08406},
year = {2025}
}