动态环境下基于深度 SfM 的多视角单目深度与不确定性预测
计算机视觉与模式识别
2022-01-24 v1
摘要
在动态环境中从单目视频重建深度与运动是一个高度不适定问题，因为在投影到 2D 图像域时存在尺度模糊性。本工作中，我们考察当前最先进(SotA)深度多视角系统在此类环境中的表现。我们发现当前有监督方法虽未建模个体物体运动，却出奇地表现良好，但因缺乏稠密真值数据而产生系统性误差。为在使用中检测此类误差，我们基于代价体(cost volume)的 Deep Video to Depth (DeepV2D) 框架 \cite{teed2018deepv2d} 扩展了一个习得的不确定性。我们的 Deep Video to certain Depth (DeepV2cD) 模型允许 i) 达到与当前 SotA 相当或更优的表现，以及 ii) 获得优于朴素香农熵的不确定性度量。我们的实验表明，基于不确定性的简单滤波策略可显著减少系统性误差，从而在场景的静态与动态部分均得到更干净的重建。
引用
@article{arxiv.2201.08633,
title = {Multi-view Monocular Depth and Uncertainty Prediction with Deep SfM in Dynamic Environments},
author = {Christian Homeyer and Oliver Lange and Christoph Schnörr},
journal= {arXiv preprint arXiv:2201.08633},
year = {2022}
}
备注
20 pages, 5 figures, 3 tables, submitted to ICPRAI 2022