基于相机一致性与对比损失的多 RoI 人体网格恢复
计算机视觉与模式识别
2024-10-02 v2
摘要
除了三维网格外，人体网格恢复（HMR）方法通常还需要估计相机以计算二维重投影损失。先前的方法可能会遇到以下问题：网格和相机均不正确，但它们的组合却能产生较低的重投影损失。为缓解这一问题，我们定义了包含同一人体的多个感兴趣区域（RoI），并提出了一种基于多 RoI 的 HMR 方法。我们的核心思想是：以多个 RoI 作为输入，我们可以估计多个局部相机，并有机会设计和应用相机间的附加约束，从而提高相机的精度，进而提高相应三维网格的精度。为实现这一思想，我们提出了一种 RoI 感知特征融合网络，通过该网络估计所有 RoI 共享的三维网格以及与各 RoI 对应的局部相机。我们观察到，局部相机可以转换为全图相机，据此我们构建了局部相机一致性损失，作为施加于局部相机的附加约束。引入多个 RoI 的另一个好处是，我们可以将网络封装到对比学习框架中，并应用对比损失来正则化网络的训练。实验证明了我们多 RoI HMR 方法的有效性及其优于近期现有技术的性能。我们的代码可在 https://github.com/CptDiaos/Multi-RoI 获取。
引用
@article{arxiv.2402.02074,
title = {Multi-RoI Human Mesh Recovery with Camera Consistency and Contrastive Losses},
author = {Yongwei Nie and Changzhen Liu and Chengjiang Long and Qing Zhang and Guiqing Li and Hongmin Cai},
journal= {arXiv preprint arXiv:2402.02074},
year = {2024}
}