深入探究用于精确多视角人体网格恢复的像素对齐特征
计算机视觉与模式识别
2023-12-19 v1 图像与视频处理
摘要
基于回归的方法在多视角人体网格恢复中已展现出较高的效率和有效性。典型回归器的关键在于输入视角的特征提取和多视角特征的融合。在本文中，我们提出了像素对齐反馈融合，用于从多视角图像中进行精确且高效的人体网格恢复。PaFF 是一个迭代回归框架，交替执行特征提取和融合。在每次迭代中，PaFF 根据当前估计的重投影从每个输入视角中提取像素对齐反馈特征，并针对下采样网格的每个顶点将它们融合在一起。通过这种方式，我们的回归器不仅能够从反馈特征中感知每个视角的未对齐状态，还能基于网格顶点上的特征融合更有效地纠正网格参数。此外，我们的回归器将身体网格的全局方向和平移与网格参数的估计解耦，从而可以更好地在回归过程中利用输入视角的相机参数。我们通过全面的消融实验在 Human3.6M 数据集上验证了我们方法的有效性，其中 PaFF 实现了 33.02 MPJPE，并比以往最佳解决方案带来了超过 29% 的显著改进。带有代码和视频结果的项目页面可在 https://kairobo.github.io/PaFF/ 找到。
引用
@article{arxiv.2301.06020,
title = {Delving Deep into Pixel Alignment Feature for Accurate Multi-view Human Mesh Recovery},
author = {Kai Jia and Hongwen Zhang and Liang An and Yebin Liu},
journal= {arXiv preprint arXiv:2301.06020},
year = {2023}
}
备注
Project Page: https://kairobo.github.io/PaFF/