掩膜自适应门控卷积与双向渐进融合网络用于深度补全
计算机视觉与模式识别
2024-12-30 v2
摘要
深度补全是处理存在缺失像素的深度图像的关键任务，缺失像素会对后续应用产生负面影响。近期方法利用卷积神经网络（CNN）借助彩色图像重建深度图像。然而，普通卷积在处理缺失像素时存在不可忽视的缺陷。为解决这一问题，我们提出了一种基于编码器-解码器结构的新型深度补全模型。该模型引入两个核心组件：掩膜自适应门控卷积（MagaConv）架构和双向渐进融合（BP-Fusion）模块。MagaConv 架构通过迭代更新的掩膜调制卷积运算，旨在获取精确的深度特征；而 BP-Fusion 模块则利用全局视角下的连续双向融合结构，渐进式地整合深度与彩色特征。在 NYU-Depth V2、DIML 和 SUN RGB-D 等主流基准数据集上的大量实验表明，我们的模型优于当前最先进的方法。我们在补全深度图方面取得了卓越的性能，并在准确性和可靠性上超越了现有方法。
引用
@article{arxiv.2401.07439,
title = {Mask-adaptive Gated Convolution and Bi-directional Progressive Fusion Network for Depth Completion},
author = {Tingxuan Huang and Jiacheng Miao and Shizhuo Deng and Tong and Dongyue Chen},
journal= {arXiv preprint arXiv:2401.07439},
year = {2024}
}