基于自适应卷积深度学习的快速高保真RGB-D图像生成
计算机视觉与模式识别
2020-06-15 v3 机器人学
图像与视频处理
摘要
以消费级RGB-D相机的原始数据作为输入，我们提出一种基于深度学习的方法，高效生成高分辨率且具有完整信息补全的RGB-D图像。为处理低分辨率且含缺失区域的输入图像，在我们的深度学习网络中引入了自适应卷积新算子，该网络由三个级联模块组成——补全模块、细化模块和超分辨率模块。补全模块基于编码器-解码器架构，输入原始RGB-D的特征将由深度神经网络的编码层自动提取。解码层用于重建补全的深度图，随后由细化模块锐化不同区域的边界。对于超分辨率模块，我们通过多层特征提取与一层上采样生成高分辨率RGB-D图像。得益于本文新提出的自适应卷积算子，我们的结果优于现有的基于深度学习的RGB-D图像补全与超分辨率方法。作为一种端到端方法，高保真RGB-D图像可以约每秒21帧的速率高效生成。
引用
@article{arxiv.2002.05067,
title = {Fast Generation of High Fidelity RGB-D Images by Deep-Learning with Adaptive Convolution},
author = {Chuhua Xian and Dongjiu Zhang and Chengkai Dai and Charlie C. L. Wang},
journal= {arXiv preprint arXiv:2002.05067},
year = {2020}
}