基于互信息驱动三重交互网络的高效图像去雾方法
计算机视觉与模式识别
2023-08-15 v1
摘要
多阶段架构在图像去雾中已展现出有效性,其通常将一个具有挑战性的任务分解为多个更易处理的子任务,并逐步估计潜在的无雾图像。尽管取得了显著进展,现有方法仍存在以下不足:(1) 对频域信息的探索有限;(2) 信息交互不充分;(3) 严重的特征冗余。为弥补这些问题,我们提出了一种新颖的基于空间-频率双域信息和两阶段架构的互信息驱动三重交互网络 (MITNet)。具体而言,第一阶段称为幅度引导去雾,旨在恢复有雾图像的幅度谱以去除雾;第二阶段称为相位引导结构精炼,致力于学习相位谱的变换与精炼。为促进两阶段之间的信息交换,我们开发了自适应三重交互模块 (ATIM) 来同时聚合跨域、跨尺度和跨阶段特征,其中融合后的特征被进一步用于生成内容自适应的动态滤波器,从而将其应用于增强全局上下文表示。此外,我们对两阶段中成对尺度的编码器与解码器特征施加互信息最小化约束。该操作能有效减少信息冗余并增强跨阶段特征互补性。在多个公开数据集上的大量实验表明,我们的 MITNet 以更低的模型复杂度取得了优越性能。代码与模型可在 https://github.com/it-hao/MITNet 获取。
引用
@article{arxiv.2308.06998,
title = {Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing},
author = {Hao Shen and Zhong-Qiu Zhao and Yulun Zhang and Zhao Zhang},
journal= {arXiv preprint arXiv:2308.06998},
year = {2023}
}
备注
Accepted in ACM MM 2023