面向多人网格恢复的度量感知方法：通过联合优化相机空间人群
计算机视觉与模式识别
2025-11-21 v2
摘要
从单张图像进行多人人体网格恢复是一项具有挑战性的任务，受限于野外训练数据的稀缺。现有的野外人体网格伪标签(pGT)生成流程以单个人为中心，逐个处理每个人，缺乏联合优化，导致场景层面的一致性不足，在同一图像中产生深度和尺度冲突的个体。为此，我们引入深度条件转换优化(DTO)，一种基于优化的新方法，联合细化图像中所有个体在相机空间的翻译。通过利用人体测量先验和单目深度估计器提供的深度线索，DTO在最大后验(MAP)框架下求解所有主体在场景中的一致布局。将DTO应用于4D-Humans数据集，我们构建了DTO-Humans，一个包含0.56百万张高质量、场景一致的多人图像的大规模伪标签数据集， featuring密集人群，平均每张图4.8人。此外，我们提出度量感知HMR，一个能够直接估计人体网格和相机参数的端到端网络。这得以实现是因为引入了相机分支和相对度量损失，以确保合理的相对尺度。大量实验表明，我们的方法在相对深度推理和人体网格恢复方面实现了最先进的性能。代码已公开：https://github.com/gouba2333/MA-HMR。
引用
@article{arxiv.2511.13282,
title = {Towards Metric-Aware Multi-Person Mesh Recovery by Jointly Optimizing Human Crowd in Camera Space},
author = {Kaiwen Wang and Kaili Zheng and Yiming Shi and Chenyi Guo and Ji Wu},
journal= {arXiv preprint arXiv:2511.13282},
year = {2025}
}