通过深度学习连接图像去噪与高层视觉任务
计算机视觉与模式识别
2018-09-10 v1
摘要
在传统的计算机视觉实践中，图像去噪与高层视觉任务通常是独立处理的，二者之间的联系十分脆弱。本文中，我们联合处理这两项任务，并探讨它们之间的相互影响，重点关注两个问题：(1)图像去噪如何帮助改善高层视觉任务，以及(2)高层视觉任务的语义信息如何用于引导图像去噪。首先，针对图像去噪，我们提出了一种卷积神经网络，其中通过下采样和上采样操作在不同空间分辨率上进行卷积，以融合并利用不同尺度的上下文信息。其次，我们提出了一种深度神经网络方案，该方案分别级联用于图像去噪和各种高层任务的两个模块，并使用联合损失通过反向传播仅更新去噪网络。我们通过实验表明，一方面，所提出的去噪器具有通用性，能够克服不同高层视觉任务中的性能退化。另一方面，在高层视觉信息的引导下，去噪网络产生了更具视觉吸引力的结果。大量实验证明了通过深度学习同时利用图像语义进行图像去噪与高层视觉任务的优势。代码已在线提供：https://github.com/Ding-Liu/DeepDenoising
引用
@article{arxiv.1809.01826,
title = {Connecting Image Denoising and High-Level Vision Tasks via Deep Learning},
author = {Ding Liu and Bihan Wen and Jianbo Jiao and Xianming Liu and Zhangyang Wang and Thomas S. Huang},
journal= {arXiv preprint arXiv:1809.01826},
year = {2018}
}
备注
arXiv admin note: text overlap with arXiv:1706.04284