基于感知重构的无监督单图深度估计
计算机视觉与模式识别
2022-06-09 v4 机器学习
摘要
真实物体深度的实时估计是三维重建、场景理解与状态评估等多种自主系统任务的关键模块。在机器学习的过去十年中，深度学习方法在计算机视觉任务中的广泛部署已产生诸多方法，能够仅从简单的RGB模态实现逼真的深度合成。这些模型大多基于成对的RGB-深度数据，和/或依赖于视频序列与立体图像。序列、立体数据与RGB-深度对的缺失，使得深度估计成为一个迄今极少被探索的完全无监督单图像迁移问题。本研究依托生成式神经网络的最新进展，以建立完全无监督的单图深度估计。我们实现了用于RGB到深度与深度到RGB迁移的两个生成器，并使用Wasserstein-1距离、一种新颖的感知重构项以及手工设计的图像滤波器对其进行同步优化。我们使用工业表面深度数据，以及Texas 3D Face Recognition Database、CelebAMask-HQ人像数据库和记录身体深度的SURREAL数据集对模型进行了全面评估。对于每个评估数据集，所提方法相比最先进的单图像迁移方法在深度精度上均有显著提升。
引用
@article{arxiv.2201.12170,
title = {Unsupervised Single-shot Depth Estimation using Perceptual Reconstruction},
author = {Christoph Angermann and Matthias Schwab and Markus Haltmeier and Christian Laubichler and Steinbjörn Jónsson},
journal= {arXiv preprint arXiv:2201.12170},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2103.16938