DRO：面向视频到深度估计的深度循环优化器
计算机视觉与模式识别
2023-03-08 v4
摘要
利用机器学习技术研究视频到深度（V2D）问题的兴趣日益增长。早期方法直接学习从图像到深度图与相机位姿的映射，而近期工作通过在学框架中嵌入优化来施加多视图几何约束。本文提出一种基于循环神经网络的新型优化方法，以进一步挖掘神经网络在 V2D 中的潜力。具体而言，我们的神经优化器通过迭代交替更新深度与相机位姿，以最小化特征度量代价，并且两个门控循环单元通过追踪历史信息迭代改进结果。大量实验结果表明，我们的方法优于先前方法，并且在计算和内存消耗上比基于代价体积的方法更高效。特别地，我们的自监督方法在 KITTI 和 ScanNet 数据集上优于先前的监督方法。我们的源代码可在 https://github.com/aliyun/dro-sfm 获取。
引用
@article{arxiv.2103.13201,
title = {DRO: Deep Recurrent Optimizer for Video to Depth},
author = {Xiaodong Gu and Weihao Yuan and Zuozhuo Dai and Siyu Zhu and Chengzhou Tang and Zilong Dong and Ping Tan},
journal= {arXiv preprint arXiv:2103.13201},
year = {2023}
}
备注
Accepted by IEEE Robotics and Automation Letters