LIPT：延迟感知的图像处理Transformer
计算机视觉与模式识别
2024-04-30 v2
摘要
Transformer正在引领图像处理领域的趋势。尽管现有的轻量级图像处理Transformer取得了巨大成功，但它们是为减少FLOPs或参数而设计的，而非实际的推理加速。在本文中，我们提出了一种延迟感知的图像处理Transformer，称为LIPT。我们设计了低延迟比例的LIPT块，用自注意力与卷积的组合替代内存密集型算子，以实现实际加速。具体而言，我们提出了一种新颖的非易失性稀疏掩蔽自注意力（NVSM-SA），它利用预计算的稀疏掩码从更大的窗口中捕获上下文信息，且无额外计算开销。此外，我们提出了高频重参数化模块（HRM），使LIPT块易于重参数化，从而提升模型的细节重建能力。在多个图像处理任务（如图像超分辨率、JPEG伪影减少和图像去噪）上的大量实验表明，LIPT在延迟和PSNR方面均具有优越性。LIPT在多个图像超分辨率基准上实现了实时GPU推理，并达到了最先进的性能。
引用
@article{arxiv.2404.06075,
title = {LIPT: Latency-aware Image Processing Transformer},
author = {Junbo Qiao and Wei Li and Haizhen Xie and Hanting Chen and Yunshuai Zhou and Zhijun Tu and Jie Hu and Shaohui Lin},
journal= {arXiv preprint arXiv:2404.06075},
year = {2024}
}