从低分辨率图像与视频重建三维人体姿态、形状与纹理
计算机视觉与模式识别
2021-03-12 v1 人工智能
摘要
从单目图像估计三维人体姿态与形状一直是计算机视觉中的活跃研究方向。现有的基于深度学习的该方法依赖高分辨率输入，然而在视频监控与体育转播等许多场景中高分辨率输入并非总可获得。处理低分辨率图像的两种常见方法是：对输入施加超分辨率技术（可能产生令人不悦的伪影），或简单地为每种分辨率训练一个模型（在许多实际应用中不切实际）。为解决上述问题，本文提出一种称为 RSC-Net 的新算法，其由分辨率感知网络、自监督损失与对比学习方案组成。所提方法能以单一模型学习跨不同分辨率的三维身体姿态与形状。自监督损失强制输出尺度一致性，对比学习方案强制深度特征尺度一致性。我们表明这两种新损失在弱监督学习时提供了鲁棒性。此外，我们将 RSC-Net 扩展至处理低分辨率视频，并应用于从低分辨率输入重建带纹理的三维行人。大量实验表明，在挑战性低分辨率图像上 RSC-Net 始终优于 SOTA 方法。
引用
@article{arxiv.2103.06498,
title = {3D Human Pose, Shape and Texture from Low-Resolution Images and Videos},
author = {Xiangyu Xu and Hao Chen and Francesc Moreno-Noguer and Laszlo A. Jeni and Fernando De la Torre},
journal= {arXiv preprint arXiv:2103.06498},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2007.13666