基于相关性代价体的逆深度回归多视图立体学习
计算机视觉与模式识别
2019-12-30 v1
摘要
深度学习已被证明对多视图立体（MVS）中的深度推断有效。然而，可扩展性与精度在该领域仍是一个开放问题。这可归因于消耗内存的代价体表示与不恰当的深度推断。受立体匹配中组间相关性的启发，我们提出一种平均组间相关性相似度度量来构建轻量级代价体。这不仅能减少内存消耗，还能降低代价体滤波中的计算负担。基于我们有效的代价体表示，我们提出级联 3D U-Net 模块来正则化代价体以进一步提升性能。与以往将多视图深度推断视为深度回归问题或逆深度分类问题的方法不同，我们将多视图深度推断重新定义为逆深度回归任务。这使我们的网络能实现亚像素估计并适用于大规模场景。通过在 DTU 数据集和 Tanks and Temples 数据集上的大量实验，我们表明我们所提出的带相关性代价体与逆深度回归（CIDER）的网络取得了最先进的结果，证明了其在可扩展性与精度上的优越性能。
引用
@article{arxiv.1912.11746,
title = {Learning Inverse Depth Regression for Multi-View Stereo with Correlation Cost Volume},
author = {Qingshan Xu and Wenbing Tao},
journal= {arXiv preprint arXiv:1912.11746},
year = {2019}
}
备注
Accepted by AAAI-2020