基于自监督学习的单张低分辨率图像三维人体形状与姿态重建

从单目图像进行三维人体形状与姿态估计一直是计算机视觉中的活跃研究领域，对从活动识别到创建虚拟化身等新应用的发展具有重大影响。现有的深度学习三维人体形状与姿态估计方法依赖于相对高分辨率的输入图像；然而，在视频监控和体育转播等若干实际场景中，高分辨率视觉内容并非总可获得。真实场景中的低分辨率图像尺寸可能差异很大，且在一个分辨率上训练的模型通常不能在不同分辨率间平滑退化。解决低分辨率输入问题的两种常见方法是：对输入图像应用超分辨率技术（可能产生视觉伪影），或简单地为每个分辨率训练一个模型（在许多实际应用中不切实际）。为解决上述问题，本文提出一种称为RSC-Net的新算法，其由分辨率感知网络、自监督损失和对比学习方案组成。所提网络能够以单一模型学习不同分辨率下的三维身体形状与姿态。自监督损失鼓励输出的尺度一致性，对比学习方案强化深度特征的尺度一致性。我们表明，这两种新训练损失在以弱监督方式学习三维形状与姿态时均提供了鲁棒性。大量实验表明，RSC-Net在具有挑战性的低分辨率图像上能持续取得优于最先进方法的结果。