HeatFormer:用于多视角人体网格恢复的神经优化器
计算机视觉与模式识别
2025-03-26 v3
摘要
我们提出了一种新方法,用于人体形状和姿态恢复,能够充分利用多个静态视角。我们关注固定多视角的人体监控,包括老年护理和安全监控,后者可在房间或开放空间的角落安装已校准的摄像机,但其配置可能因环境而异。我们的核心思想是将其建模为神经优化。我们通过HeatFormer实现,该神经优化器迭代细化给定多视角图像的SMPL参数, fundamentally agonistic to the configuration of views. HeatFormer 将该SMPL参数估计实现为热图生成与对齐,采用新颖的变换器编码器和解码器。我们通过大量实验演示了HeatFormer的有效性,包括其准确性、遮挡鲁棒性和可泛化性。我们认为HeatFormer可以在被动人体行为建模中发挥关键作用。
引用
@article{arxiv.2412.04456,
title = {HeatFormer: A Neural Optimizer for Multiview Human Mesh Recovery},
author = {Yuto Matsubara and Ko Nishino},
journal= {arXiv preprint arXiv:2412.04456},
year = {2025}
}
备注
To be published in CVPR 2025