Zolly：为透视失真人体网格重建正确缩放焦距
计算机视觉与模式识别
2023-08-25 v3
摘要
由于在野外难以校准单视图 RGB 图像，现有的 3D 人体网格重建（3DHMR）方法要么使用恒定的大焦距，要么基于背景环境上下文估计一个焦距，这无法解决当相机靠近人体时由透视相机投影引起的躯干、肢体、手或面部失真问题。朴素的焦距假设会因错误构建的投影矩阵而损害该任务。为此，我们提出 Zolly，首个专注于透视失真图像的 3DHMR 方法。我们的方法首先分析透视失真的原因，发现其主要由人体相对于相机中心的相对位置引起。我们提出了一种新的相机模型和一种称为失真图像（distortion image）的新颖 2D 表示，其描述了人体的 2D 密集失真尺度。然后我们从失真尺度特征而非环境上下文特征估计距离。之后，我们将失真特征与图像特征整合以重建人体网格。为构建正确的投影矩阵并定位人体位置，我们同时使用了透视和弱透视投影损失。由于现有数据集无法处理该任务，我们提出了首个合成数据集 PDHuman，并扩展了两个专为该任务定制的真实世界数据集，均包含透视失真人体图像。大量实验表明，Zolly 在透视失真数据集和标准基准（3DPW）上均优于现有的最先进方法。
引用
@article{arxiv.2303.13796,
title = {Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh Reconstruction},
author = {Wenjia Wang and Yongtao Ge and Haiyi Mei and Zhongang Cai and Qingping Sun and Yanjun Wang and Chunhua Shen and Lei Yang and Taku Komura},
journal= {arXiv preprint arXiv:2303.13796},
year = {2023}
}