加速 SAM 3D Body：实现实时全身人体网格恢复
计算机视觉与模式识别
2026-03-17 v1
摘要
SAM 3D Body（3DB）在单目 3D 人体网格恢复中实现了最先进的准确率，但其每张图像的推理延迟为数秒，难以用于实时应用。我们提出了 Fast SAM 3D Body，一个无需训练的加速框架，通过重新构思 3DB 推理路径实现交互式推理速度。通过解耦序列化的空间依赖关系并应用架构感知的剪枝，我们实现了并行化的多裁区特征提取和简化的 transformer 解码。此外，为了提取与现有人oid 控制和策略学习框架兼容的关节级运动学（SMPL），我们将迭代网格拟合替换为直接的前馈映射，将这一特定转换加速超过 1 万倍。总体而言，我们的框架在端到端速度上实现了最高 10.9 倍的加速，同时保持与 3DB 相同的重建保真度，甚至在 LSPET 等基准数据集上超越了 3DB。我们展示了其实用性，通过在仅依赖 RGB 流的视觉系统中部署 Fast SAM 3D Body，实现了实时的人形机器人控制和从单个 RGB 流中直接收集操纵策略。
引用
@article{arxiv.2603.15603,
title = {Fast SAM 3D Body: Accelerating SAM 3D Body for Real-Time Full-Body Human Mesh Recovery},
author = {Timing Yang and Sicheng He and Hongyi Jing and Jiawei Yang and Zhijian Liu and Chuhang Zou and Yue Wang},
journal= {arXiv preprint arXiv:2603.15603},
year = {2026}
}