DRT：一种轻量级单图像去雨递归 Transformer
计算机视觉与模式识别
2022-04-26 v1
摘要
过度参数化是深度学习中一种常用技术，可帮助模型充分学习并泛化到给定任务；然而，这往往导致庞大的网络结构，并在训练期间消耗大量计算资源。近期基于 transformer 的视觉任务强大深度学习模型通常参数繁重且训练困难。但许多密集预测的低层计算机视觉任务，如雨纹去除，在实践中往往需要在计算能力和内存受限的设备上执行。因此，我们引入了一种带残差连接的递归局部窗口自注意力结构，并提出去雨递归 transformer（DRT），其兼具 transformer 的优势，同时仅需少量计算资源。具体而言，通过递归架构，我们所提模型在去雨任务中仅使用当前性能最佳模型 1.3% 的参数，同时在 Rain100L 基准上以至少 0.33 dB 超越 SOTA 方法。消融实验还探究了递归次数对去雨结果的影响。此外，由于该模型未针对去雨进行专门设计，它也可应用于其他图像复原任务。我们的实验表明其在除雪任务上能取得有竞争力的结果。源代码与预训练模型可在 https://github.com/YC-Liang/DRT 获取。
引用
@article{arxiv.2204.11385,
title = {DRT: A Lightweight Single Image Deraining Recursive Transformer},
author = {Yuanchu Liang and Saeed Anwar and Yang Liu},
journal= {arXiv preprint arXiv:2204.11385},
year = {2022}
}