用于深度补全的动态空间传播网络
计算机视觉与模式识别
2022-02-22 v1
摘要
图像引导的深度补全旨在利用稀疏深度测量及相应 RGB 图像生成稠密深度图。目前，空间传播网络（SPNs）是深度补全中最流行的基于亲和度的方法，但它们仍受限于固定亲和度的表示局限以及迭代过程中的过平滑。我们的方案是在每次 SPN 迭代中估计独立的亲和度矩阵，但这会导致参数过多且计算繁重。本文引入一种高效模型，以基于注意力、动态的方式学习相邻像素间的亲和度。具体而言，我们提出的动态空间传播网络（DySPN）利用了非线性传播模型（NLPM）。它将邻域按不同距离解耦为若干部分，并递归生成独立的注意力图以将这些部分精炼为自适应亲和度矩阵。此外，我们采用扩散抑制（DS）操作，使模型在早期阶段收敛以防止稠密深度的过平滑。最后，为降低所需计算成本，我们还引入三种变体，在保持相近精度的同时减少所需邻域与注意力的数量。实践中，我们的方法所需迭代更少即可匹配其他 SPNs 的性能，且总体结果更优。DySPN 在提交时在 KITTI Depth Completion (DC) 评测上优于其他最先进（SoTA）方法，并能在 NYU Depth v2 数据集上取得 SoTA 性能。
引用
@article{arxiv.2202.09769,
title = {Dynamic Spatial Propagation Network for Depth Completion},
author = {Yuankai Lin and Tao Cheng and Qi Zhong and Wending Zhou and Hua Yang},
journal= {arXiv preprint arXiv:2202.09769},
year = {2022}
}