利用未见视角下姿态与形状一致性的隐式 3D 人体网格恢复
计算机视觉与模式识别
2023-07-04 v2
摘要
从一张人物图像中，即使存在歧义，我们也能轻易推断出该人物自然的 3D 姿态与形状。这是因为我们拥有心智模型，可让我们从给定图像想象人物在不同视向下的外观，并利用它们之间的一致性进行推断。然而，现有人体网格恢复方法因其结构局限，仅考虑图像拍摄时的方向。为此，我们提出“隐式 3D 人体网格恢复（ImpHMR）”，其可通过神经特征场在特征层面上隐式地于 3D 空间中想象人物。在 ImpHMR 中，特征场由基于 CNN 的图像编码器为给定图像生成。随后，从特征场对给定视向进行体积渲染得到 2D 特征图，并从中回归姿态与形状参数。为利用未见视角下姿态与形状的一致性，若存在 3D 标签，模型预测包含任意方向轮廓的结果并使其等于旋转后的真值；若仅有 2D 标签，我们通过不同方向推断出的姿态与形状参数应一致的约束进行自监督学习。大量评估显示了所提方法的有效性。
引用
@article{arxiv.2306.17651,
title = {Implicit 3D Human Mesh Recovery using Consistency with Pose and Shape from Unseen-view},
author = {Hanbyel Cho and Yooshin Cho and Jaesung Ahn and Junmo Kim},
journal= {arXiv preprint arXiv:2306.17651},
year = {2023}
}
备注
Accepted to CVPR 2023 (poster)