基于深度学习的三维外观超分辨率
计算机视觉与模式识别
2019-06-05 v2
摘要
我们解决从多视角捕捉的物体恢复高分辨率（HR）纹理映射的问题。在多视图情形下，基于模型的超分辨率（SR）方法近来已被证明能恢复高质量纹理映射。另一方面，基于深度学习的方法的出现已对视频和图像 SR 问题产生显著影响。然而，用于超分辨率重建三维物体外观的深度学习方法是缺失的。在多视图情形下利用深度学习技术威力的主要限制是缺乏数据。我们基于现有的 ETH3D [42]、SyB3R [31]、MiddleBury 以及我们收集的来自 TUM [21]、Fountain [51] 和 Relief [53] 的三维场景，引入了三维外观 SR（3DASR）数据集。我们提供了高分辨率和低分辨率纹理映射、三维几何模型、图像和投影矩阵。我们利用二维基于学习的 SR 方法的威力，并设计了适用于三维多视图情形的网络。我们通过引入法线映射来融入几何信息，并进一步改进学习过程。实验结果表明，我们提出的网络成功融入了三维几何信息并实现了纹理映射的超分辨率。
引用
@article{arxiv.1906.00925,
title = {3D Appearance Super-Resolution with Deep Learning},
author = {Yawei Li and Vagia Tsiminaki and Radu Timofte and Marc Pollefeys and Luc van Gool},
journal= {arXiv preprint arXiv:1906.00925},
year = {2019}
}
备注
In CVPR 2019. Github papge: https://github.com/ofsoundof/3D_Appearance_SR