用于高效真实图像去雾的蒸馏池化 Transformer 编码器
计算机视觉与模式识别
2024-12-20 v1
摘要
本文提出了一种专为真实图像去雾设计的轻量级神经网络，利用了名为 DPTE-Net 的蒸馏池化 Transformer 编码器。最近，虽然视觉 Transformer 在各种视觉任务中取得了巨大成功，但其自注意力（SA）模块的复杂度随图像分辨率呈二次方增长，阻碍了它们在资源受限设备上的适用性。为了克服这一点，所提出的 DPTE-Net 用高效的池化机制替代了传统的 SA 模块，在保留 ViT 学习能力的同时显著降低了计算需求。为了进一步增强语义特征学习，实施了一种基于蒸馏的训练过程，将来自较大教师网络的丰富知识转移到 DPTE-Net。此外，DPTE-Net 在生成对抗网络（GAN）框架内进行训练，利用 GAN 在图像恢复中的强泛化能力，并采用透射感知损失函数来动态适应不同的雾霾浓度。在各种基准数据集上的实验结果表明，与最先进的方法相比，所提出的 DPTE-Net 能够实现具有竞争力的去雾性能，同时保持低计算复杂度，使其成为资源受限应用的有前途的解决方案。这项工作的代码可在 https://github.com/tranleanh/dpte-net 获取。
引用
@article{arxiv.2412.14220,
title = {Distilled Pooling Transformer Encoder for Efficient Realistic Image Dehazing},
author = {Le-Anh Tran and Dong-Chul Park},
journal= {arXiv preprint arXiv:2412.14220},
year = {2024}
}
备注
18 pages, 17 figures