外观一致性驱动的自监督人体网格恢复
计算机视觉与模式识别
2020-08-05 v1
摘要
我们提出一种自监督人体网格恢复框架,以在没有任何配对监督的情况下从单目图像推断人体姿态与形状。近期进展已将兴趣转向通过在具有 2D 关键点标注的大规模数据集上监督来直接回归参数化人体模型的参数。这限制了此类方法在来自无标注自然环境图像上的泛化能力。鉴于此,我们提出一种新颖的外观一致性驱动自监督目标。为有效解耦前景(FG)人体,我们依赖于描绘同一人(一致 FG)但姿态与背景(BG)各异的图像对,其取自无标注自然视频。所提出的前景外观一致性目标利用一个新颖、可微的颜色恢复模块,无需任何外观网络即可获得顶点颜色;通过高效实现颜色拾取与反射对称。我们在标准基于模型的 3D 姿态估计基准上以可比监督水平取得最先进结果。此外,所得到的彩色网格预测拓展了我们的框架在姿态与形状估计之外的多种外观相关任务中的使用,从而确立了我们优越的泛化能力。
引用
@article{arxiv.2008.01341,
title = {Appearance Consensus Driven Self-Supervised Human Mesh Recovery},
author = {Jogendra Nath Kundu and Mugalodi Rakesh and Varun Jampani and Rahul Mysore Venkatesh and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2008.01341},
year = {2020}
}
备注
ECCV 2020 (Oral)