自监督深度深度图去噪
计算机视觉与模式识别
2019-09-05 v2
摘要
深度感知被视为各种视觉任务中极具价值的信息来源。然而，使用消费级传感器获取的深度图仍受到不可忽略的噪声影响。这一事实最近促使研究者利用传统滤波器以及深度学习范式来抑制上述非均匀噪声，同时保留几何细节。尽管付出了努力，深度深度图去噪仍是一项开放挑战，主要由于缺少可用作真值的干净数据。在本文中，我们提出一种全卷积深度自编码器，其学习对深度图去噪，克服了真值数据缺失的问题。具体而言，所提自编码器利用同一场景来自不同视点的多视图，以自监督端到端方式学习抑制噪声，训练时使用深度与颜色信息，而推理时仅用深度。为实施自监督，我们利用可微渲染技术来借助光度监督，并进一步使用几何与表面先验进行正则化。由于所提方法依赖于原始数据采集，我们使用 Intel RealSense 传感器收集了一个大型 RGB-D 语料库。作为定量评估的补充，我们展示了所提自监督去噪方法在已有 3D 重建应用上的有效性。代码见 https://github.com/VCL3D/DeepDepthDenoising
引用
@article{arxiv.1909.01193,
title = {Self-Supervised Deep Depth Denoising},
author = {Vladimiros Sterzentsenko and Leonidas Saroglou and Anargyros Chatzitofis and Spyridon Thermos and Nikolaos Zioulis and Alexandros Doumanoglou and Dimitrios Zarpalas and Petros Daras},
journal= {arXiv preprint arXiv:1909.01193},
year = {2019}
}
备注
18 pages, 15 figures, ICCV 2019