用于多模态图像复原与融合的深度卷积神经网络
计算机视觉与模式识别
2019-10-10 v1
摘要
在本文中，我们提出一种新颖的深度卷积神经网络来解决一般的多模态图像复原（MIR）和多模态图像融合（MIF）问题。与其他基于深度学习的方法不同，我们的网络架构是通过从新提出的多模态卷积稀疏编码（MCSC）模型中汲取灵感而设计的。所提网络的关键特征是它能自动将不同模态间共享的公共信息与各单一模态独有的信息分离开来，因此被记为 CU-Net，即公共与独有信息分离网络。具体而言，CU-Net 由三个模块组成：独有特征提取模块（UFEM）、公共特征保持模块（CFPM）和图像重建模块（IRM）。各模块的架构源自 MCSC 模型中相应部分，由若干学习型卷积稀疏编码（LCSC）块构成。大量数值结果验证了我们的方法在多种 MIR 和 MIF 任务上的有效性，包括 RGB 引导的深度图像超分辨率、闪光引导的非闪光图像去噪、多聚焦与多曝光图像融合。
引用
@article{arxiv.1910.04066,
title = {Deep Convolutional Neural Network for Multi-modal Image Restoration and Fusion},
author = {Xin Deng and Pier Luigi Dragotti},
journal= {arXiv preprint arXiv:1910.04066},
year = {2019}
}