改进的单图像深度预测：一种多元高斯视角
计算机视觉与模式识别
2023-04-19 v2
摘要
基于神经网络的单图像深度预测（SIDP）是一项具有挑战性的任务，其目标是在测试时预测场景的逐像素深度。由于该问题依定义是不适定的，基本目标是提出一种能从一组训练样本中可靠建模场景深度的方法。在追求完美深度估计的过程中，大多数现有的 state-of-the-art 学习技术为每个像素预测单一标量深度值。然而，众所周知训练模型存在精度局限且可预测不精确深度。因此，SIDP 方法必须关注模型在测试时预测中的预期深度变化。据此，我们引入一种对逐像素深度进行连续建模的方法，从而能够预测并推理逐像素深度及其分布。为此，我们使用多元高斯分布对逐像素场景深度建模。此外，与现有的不确定性建模方法（其同样假设逐像素深度相互独立）不同，我们引入逐像素协方差建模，编码其相对于所有场景点的深度依赖关系。遗憾的是，逐像素深度协方差建模导致计算昂贵的连续损失函数，我们通过学习整体协方差矩阵的低秩近似来高效求解。值得注意的是，在 KITTI、NYU 和 SUN-RGB-D 等基准数据集上测试时，通过优化我们的损失函数获得的 SIDP 模型展示了 state-of-the-art 结果。我们方法（名为 MG）的精度在 KITTI 深度预测基准排行榜上位居前列。
引用
@article{arxiv.2303.18164,
title = {Single Image Depth Prediction Made Better: A Multivariate Gaussian Take},
author = {Ce Liu and Suryansh Kumar and Shuhang Gu and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2303.18164},
year = {2023}
}
备注
Accepted to IEEE/CVF CVPR 2023. Draft info: 17 pages, 13 Figures, 9 Tables