用于多视图立体的非局部循环正则化网络
计算机视觉与模式识别
2021-10-14 v1
摘要
在深度多视图立体网络中，代价正则化对于实现准确的深度估计至关重要。由于3D代价体滤波通常消耗内存，循环2D代价图正则化近来变得流行，并展现出重建不同尺度3D模型的巨大潜力。然而，现有循环方法仅建模深度域中的局部依赖，这极大限制了捕获沿深度维度的全局场景上下文的能力。为应对此局限，我们提出一种用于多视图立体的新颖非局部循环正则化网络，名为NR2-Net。具体而言，我们设计了一个深度注意力模块以捕获滑动深度块内的非局部深度交互。然后，以门控循环方式建模不同块之间的全局场景上下文。如此，沿深度维度的长程依赖被捕获以促进代价正则化。此外，我们设计了一种动态深度图融合策略以提高算法鲁棒性。我们的方法在DTU和Tanks and Temples数据集上均取得了最先进的重建结果。
引用
@article{arxiv.2110.06436,
title = {Non-local Recurrent Regularization Networks for Multi-view Stereo},
author = {Qingshan Xu and Martin R. Oswald and Wenbing Tao and Marc Pollefeys and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2110.06436},
year = {2021}
}