用于多视立体深度推断的自监督学习
计算机视觉与模式识别
2021-04-08 v1
摘要
近期有监督的多视深度估计网络已取得可喜结果。与所有监督方法类似,这些网络在训练期间需要真值数据。然而,收集大量多视深度数据极具挑战性。在此,我们提出一种利用输入数据伪标签的多视立体自监督学习框架。我们首先在依赖图像重建损失作为监督的无监督学习框架下学习估计深度图作为初始伪标签。随后,我们利用精心设计的流程,借助由更高分辨率图像与相邻视推断出的深度信息来精炼初始伪标签。我们将这些高质量伪标签用作监督信号以训练网络,并通过自训练迭代提升其性能。在 DTU 数据集上的大量实验表明,我们提出的自监督学习框架大幅优于现有的无监督多视立体网络,并与有监督对应方法表现相当。代码见 https://github.com/JiayuYANG/Self-supervised-CVP-MVSNet。
引用
@article{arxiv.2104.02972,
title = {Self-supervised Learning of Depth Inference for Multi-view Stereo},
author = {Jiayu Yang and Jose M. Alvarez and Miaomiao Liu},
journal= {arXiv preprint arXiv:2104.02972},
year = {2021}
}
备注
CVPR 2021