具有动态一致性检查的稠密混合循环多视图立体网络
计算机视觉与模式识别
2020-07-22 v1
摘要
本文提出一种高效且有效的具有动态一致性检查的稠密混合循环多视图立体网络，即 HC-RMVSNet，用于精确的稠密点云重建。我们新颖的混合循环多视图立体网络由两个核心模块组成：1) 轻量 DRENet（稠密感受野扩展）模块，用于提取具有多尺度上下文信息的原始尺寸稠密特征图；2) HU-LSTM（混合 U-LSTM），通过将 LSTM 与 U-Net 架构相耦合，高效地聚合不同尺度信息，将 3D 匹配代价体正则化为预测深度图。为了进一步提高重建点云的准确性和完整性，我们采用动态一致性检查策略，取代现有稠密点云重建方法中广泛使用的预设参数与策略。由此，我们动态聚合所有视图间的几何一致性匹配误差。我们的方法在复杂的室外 \textsl{Tanks and Temples} 基准上排名所有方法中的 \textbf{}。在室内的 DTU 数据集上的大量实验表明，我们的方法在与最先进方法具有竞争力性能的同时，大幅降低了内存消耗，仅花费 R-MVSNet 内存消耗的 。代码库可在 \hyperlink{https://github.com/yhw-yhw/D2HC-RMVSNet}{https://github.com/yhw-yhw/D2HC-RMVSNet} 获取。
引用
@article{arxiv.2007.10872,
title = {Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency Checking},
author = {Jianfeng Yan and Zizhuang Wei and Hongwei Yi and Mingyu Ding and Runze Zhang and Yisong Chen and Guoping Wang and Yu-Wing Tai},
journal= {arXiv preprint arXiv:2007.10872},
year = {2020}
}
备注
Accepted by ECCV2020 as Spotlight