AA-RMVSNet：基于自适应聚合的循环多视图立体网络
计算机视觉与模式识别
2021-08-10 v1
摘要
本文提出一种基于长短期记忆（LSTM）且具备自适应聚合的新型循环多视图立体网络，即 AA-RMVSNet。我们首先引入视图内聚合模块，利用上下文感知卷积和多尺度聚合自适应地提取图像特征，有效提升了在薄物体和大面积低纹理表面等具有挑战性区域上的性能。为克服复杂场景中遮挡多变带来的困难，我们提出视图间代价体聚合模块以实现自适应的逐像素视图聚合，能够在所有视图中保留匹配更好的像素对。所提出的两种自适应聚合模块在提升三维重建精度与完整性方面轻量、有效且互补。与传统的三维 CNN 不同，我们采用具有循环结构的混合网络进行代价体正则化，从而支持高分辨率重建与更精细的假设平面扫描。所提网络以端到端方式训练，并在多个数据集上取得优异性能。在 Tanks and Temples 基准上排名所有提交方法第 1，在 DTU 数据集上取得具有竞争力的结果，展现出强大的泛化性与鲁棒性。我们的方法实现见 https://github.com/QT-Zhu/AA-RMVSNet。
引用
@article{arxiv.2108.03824,
title = {AA-RMVSNet: Adaptive Aggregation Recurrent Multi-view Stereo Network},
author = {Zizhuang Wei and Qingtian Zhu and Chen Min and Yisong Chen and Guoping Wang},
journal= {arXiv preprint arXiv:2108.03824},
year = {2021}
}