深入探究自监督多视图立体匹配中的不确定性
计算机视觉与模式识别
2021-09-09 v2
摘要
以图像重建为先验任务的自监督多视图立体匹配（MVS）近期取得了显著进展。然而，以往方法多基于直觉，缺乏对自监督 MVS 中先验任务有效性的全面解释。为此，我们提出在自监督 MVS 中估计认知不确定性，以刻画模型所忽略的信息。具体而言，其局限性可分为两类：前景中的模糊监督与背景中的无效监督。为解决这些问题，我们提出了一种新颖的 Uncertainty reduction Multi-view Stereo（UMVS）框架用于自监督学习。为缓解前景中的模糊监督，我们引入额外的对应先验并采用光流-深度一致性损失。光学流的稠密二维对应被用于正则化 MVS 中的三维立体对应。为处理背景中的无效监督，我们使用蒙特卡洛丢弃（Monte-Carlo Dropout）获取不确定性图，并进一步过滤无效区域上不可靠的监督信号。在 DTU 与 Tank&Temples 基准上的大量实验表明，我们的 U-MVS 框架在无监督 MVS 方法中取得了最佳性能，并与有监督方法具有竞争力。
引用
@article{arxiv.2108.12966,
title = {Digging into Uncertainty in Self-supervised Multi-view Stereo},
author = {Hongbin Xu and Zhipeng Zhou and Yali Wang and Wenxiong Kang and Baigui Sun and Hao Li and Yu Qiao},
journal= {arXiv preprint arXiv:2108.12966},
year = {2021}
}
备注
This paper is accepted by ICCV-21 as a poster presentation