语义感知的图像去模糊
计算机视觉与模式识别
2019-10-10 v1
摘要
近年来图像去模糊取得了令人振奋的进展。然而,传统方法难以对严重模糊的图像去模糊,其中语义内容显得模糊不清。本文中,我们在由图像描述推断出的语义内容引导下实施图像去模糊。具体地,我们提出一种用于图像去模糊的新型结构化-空间语义嵌入模型(称为S3E-Deblur),其引入了新颖的结构化-空间语义树模型(S3-tree)以桥接计算机视觉中两项基本任务:图像去模糊(ImD)与图像描述(ImC)。特别地,S3-tree在ImC中以结构化空间特征捕获并表示语义内容,然后将树节点的空间特征嵌入基于GAN的ImD中。对S3-tree、ImC和ImD进行协同训练,以多任务端到端方式优化整体模型。在严重模糊的MSCOCO和GoPro数据集上的大量实验表明,S3E-Deblur在ImD和ImC任务上相较最先进方法均具有显著优越性。
引用
@article{arxiv.1910.03853,
title = {Semantic-aware Image Deblurring},
author = {Fuhai Chen and Rongrong Ji and Chengpeng Dai and Xiaoshuai Sun and Chia-Wen Lin and Jiayi Ji and Baochang Zhang and Feiyue Huang and Liujuan Cao},
journal= {arXiv preprint arXiv:1910.03853},
year = {2019}
}