AGG-Net：用于深度图像补全的注意力引导门控卷积网络
计算机视觉与模式识别
2023-09-06 v1
摘要
近来，基于轻量级 RGBD 相机的立体视觉已广泛应用于诸多领域。然而受成像原理限制，常用的基于 TOF、结构光或双目视觉的 RGB-D 相机不可避免地获取部分无效数据，如弱反射、边界阴影与伪影，这可能给后续工作带来不利影响。本文提出一种基于注意力引导门控卷积网络（AGG-Net）的深度图像补全新模型，可从原始深度图与相应 RGB 图像获得更准确可靠的深度图像。我们的模型采用类 UNet 架构，由深度与颜色特征两条并行分支组成。在编码阶段，提出注意力引导门控卷积（AG-GConv）模块以实现不同尺度下深度与颜色特征的融合，可有效降低无效深度数据对重建的负面影响。在解码阶段，提出注意力引导跳跃连接（AG-SC）模块，以避免向重建引入过多与深度无关的特征。实验结果表明，我们的方法在常用基准 NYU-Depth V2、DIML 与 SUN RGB-D 上优于当前最先进方法。
引用
@article{arxiv.2309.01624,
title = {AGG-Net: Attention Guided Gated-convolutional Network for Depth Image Completion},
author = {Dongyue Chen and Tingxuan Huang and Zhimin Song and Shizhuo Deng and Tong Jia},
journal= {arXiv preprint arXiv:2309.01624},
year = {2023}
}
备注
9 pages, 7 figures, ICCV2023