基于循环网络的无监督双目深度估计渐进融合方法
计算机视觉与模式识别
2019-09-18 v1
摘要
近期基于监督回归的深度单目深度估计方法取得了显著性能。然而，它们在训练时需要昂贵的真实标注。为应对此问题，本文提出一种新颖的无监督深度学习方法用于预测深度图。我们引入一种名为渐进融合网络（Progressive Fusion Network, PFN）的新网络架构，专为双目立体深度估计设计。该网络基于多尺度细化策略，结合双目视图提供的信息。此外，我们提议将该网络堆叠两次以形成一个循环。这种循环方法可视为一种数据增强形式，因为在训练时，网络既从训练集图像（前向半循环）学习，也从合成图像（后向半循环）学习。该架构通过对抗学习联合训练。在公开数据集 KITTI、Cityscapes 和 ApolloScape 上的大量实验证明了所提模型的有效性，其与其他无监督深度学习深度预测方法相比具有竞争力。
引用
@article{arxiv.1909.07667,
title = {Progressive Fusion for Unsupervised Binocular Depth Estimation using Cycled Networks},
author = {Andrea Pilzer and Stéphane Lathuilière and Dan Xu and Mihai Marian Puscas and Elisa Ricci and Nicu Sebe},
journal= {arXiv preprint arXiv:1909.07667},
year = {2019}
}
备注
Accepted to TPAMI (SI RGB-D Vision), code https://github.com/andrea-pilzer/PFN-depth