NeRF 监督的深度立体网络
计算机视觉与模式识别
2023-03-31 v1 机器人学
摘要
我们引入了一种无需任何真实标注即可轻松训练深度立体网络的新型框架。通过利用最先进的神经渲染方案，我们从单台手持相机采集的图像序列生成立体训练数据。在此基础上执行 NeRF 监督的训练流程，其中我们利用渲染的立体三元组补偿遮挡，并将深度图作为代理标签。由此得到的立体网络能够预测清晰且精细的视差图。实验结果表明，在此机制下训练的模型在具有挑战性的 Middlebury 数据集上比现有自监督方法提升 30-40%，缩小了与有监督模型的差距，且在多数情况下以零样本泛化能力优于它们。
引用
@article{arxiv.2303.17603,
title = {NeRF-Supervised Deep Stereo},
author = {Fabio Tosi and Alessio Tonioni and Daniele De Gregorio and Matteo Poggi},
journal= {arXiv preprint arXiv:2303.17603},
year = {2023}
}
备注
CVPR 2023. Project page: https://nerfstereo.github.io/ Code: https://github.com/fabiotosi92/NeRF-Supervised-Deep-Stereo