即插即用:通过稀疏数据传播改进深度估计
图像与视频处理
2019-04-12 v2 计算机视觉与模式识别
摘要
我们提出一种新颖的即插即用(PnP)模块,用于以任意模式的稀疏深度作为输入来改进深度预测。给定任何预训练的深度预测模型,我们的 PnP 模块更新中间特征图,使得模型输出与给定稀疏深度一致的新深度。我们的方法无需额外训练,并可应用于实际场景,例如利用 RGB 与稀疏 LiDAR 点鲁棒地估计稠密深度图。我们的方法在室内(即 NYU-v2)与室外(即 KITTI)数据集上的多种最先进方法中均取得一致改进。实验中还合成了多种类型的 LiDAR 以验证我们的 PnP 模块在实际中的普遍适用性。项目页见 https://zswang666.github.io/PnP-Depth-Project-Page/
引用
@article{arxiv.1812.08350,
title = {Plug-and-Play: Improve Depth Estimation via Sparse Data Propagation},
author = {Tsun-Hsuan Wang and Fu-En Wang and Juan-Ting Lin and Yi-Hsuan Tsai and Wei-Chen Chiu and Min Sun},
journal= {arXiv preprint arXiv:1812.08350},
year = {2019}
}
备注
7 pages. 7 figures. ver.2