用于高效 RGB 引导深度补全的分解式引导动态滤波器
计算机视觉与模式识别
2023-09-06 v1
摘要
RGB 引导深度补全旨在从稀疏深度测量及相应 RGB 图像预测稠密深度图，其中如何有效且高效地利用多模态信息是关键问题。引导动态滤波器从 RGB 特征生成空间可变深度可分离卷积滤波器以引导深度特征，已在该任务中被证明有效。然而，当特征通道数较大时，动态生成的滤波器需要大量模型参数、计算开销与内存占用。本文中，我们提出将引导动态滤波器分解为在空间共享的分量乘以各空间位置内容自适应的适配器。基于所提思想，我们引入分解方案 A 与 B，分别通过拆分滤波器结构和使用空间注意力来分解滤波器。分解后的滤波器不仅保持了引导动态滤波器依赖内容与空间可变的优良特性，还减少了模型参数与硬件开销，因为所学适配器与特征通道数解耦。大量实验结果表明，采用我们方案的方法在 KITTI 数据集上优于最先进方法，并在提交时位列 KITTI 基准第 1 与第 2 名。同时，它们在 NYUv2 数据集上也取得了可比性能。此外，我们提出的方法具有通用性，可作为即插即用特征融合模块用于其他多模态融合任务，如 RGB-D 显著对象检测。
引用
@article{arxiv.2309.02043,
title = {Decomposed Guided Dynamic Filters for Efficient RGB-Guided Depth Completion},
author = {Yufei Wang and Yuxin Mao and Qi Liu and Yuchao Dai},
journal= {arXiv preprint arXiv:2309.02043},
year = {2023}
}