用于精确三维人体姿态与形状估计的多初始化优化网络
计算机视觉与模式识别
2021-12-28 v1
摘要
从单目 RGB 图像恢复三维人体姿态与形状是一项具有挑战性的任务。现有的基于学习的方法由于缺乏真实场景中的成对 3D 监督，高度依赖于弱监督信号，例如 2D 和 3D 关节位置。然而，考虑到这些弱监督标签中存在的 2D 到 3D 歧义，网络在用此类标签训练时容易陷入局部最优。在本文中，我们通过优化多个初始化来减少歧义。具体而言，我们提出了一个名为多初始化优化网络（MION）的三阶段框架。在第一阶段，我们策略性地选择不同的与输入样本的 2D 关键点兼容的粗 3D 重建候选。每个粗重建可视为一个初始化，对应一个优化分支。在第二阶段，我们设计了一个网格细化 transformer（MRT），通过自注意力机制分别细化每个粗重建结果。最后，提出了一致性估计网络（CEN），通过评估 RGB 图像中的视觉证据是否与给定的 3D 重建匹配，从多个候选中找到最佳结果。实验表明，我们的多初始化优化网络在多个公开基准上优于现有的基于 3D 网格的方法。
引用
@article{arxiv.2112.12917,
title = {Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation},
author = {Zhiwei Liu and Xiangyu Zhu and Lu Yang and Xiang Yan and Ming Tang and Zhen Lei and Guibo Zhu and Xuetao Feng and Yan Wang and Jinqiao Wang},
journal= {arXiv preprint arXiv:2112.12917},
year = {2021}
}
备注
accepted by ACM Multimedia 2021