结合视觉变换器的互补特征增强网络用于图像去雾
计算机视觉与模式识别
2022-01-06 v3
摘要
传统基于 CNN 的去雾模型存在两个本质问题：去雾框架（可解释性有限）与卷积层（内容无关且难以有效学习长程依赖信息）。本文中，我们首先提出一种新的互补特征增强框架，其中互补特征由若干互补子任务学习，进而共同提升主任务性能。新框架的显著优势之一在于，有意选取的互补任务可聚焦于弱依赖互补特征的学习，避免网络重复且低效的学习。我们基于该框架设计了新的去雾网络。具体而言，我们选取本征图像分解作为互补任务，其中反射率与光照预测子任务用于提取颜色维与纹理维互补特征。为有效聚合这些互补特征，我们提出互补特征选择模块（CFSM）以筛选对图像去雾更有用的特征。此外，我们引入新版本的视觉变换器块，称为混合局部-全局视觉变换器（HyLoG-ViT），并将其嵌入我们的去雾网络中。HyLoG-ViT 块由局部与全局视觉变换器路径组成，用于捕获局部与全局依赖。因此，HyLoG-ViT 在网络中引入局部性并捕获全局与长程依赖。在均匀、非均匀与夜间去雾任务上的大量实验表明，所提去雾网络可达到与基于 CNN 的去雾模型相当甚至更优的性能。
引用
@article{arxiv.2109.07100,
title = {Complementary Feature Enhanced Network with Vision Transformer for Image Dehazing},
author = {Dong Zhao and Jia Li and Hongyu Li and Long Xu},
journal= {arXiv preprint arXiv:2109.07100},
year = {2022}
}
备注
12 pages,10 figures