ELMformer：基于局部乘性 Transformer 的高效原始图像复原
计算机视觉与模式识别
2022-09-01 v1
摘要
为获得供下游图像信号处理（ISP）使用的高质量原始图像，本文提出一种称为 ELMformer 的高效局部乘性 Transformer 用于原始图像复原。ELMformer 包含两个专为原始图像（其原始属性为单通道）设计的核心模块。第一项是双向融合投影（BFP）模块，其中我们同时考虑原始图像的颜色特征与单通道的空间结构。第二项是提出局部乘性自注意力（L-MSA）方案，以将信息从局部空间有效传递至相关区域。ELMformer 能高效降低计算消耗，并在原始图像复原任务上表现良好。借助这两项核心设计，ELMformer 在原始去噪与原始去模糊基准上相较 SOTA 方法取得最高性能且保持最低 FLOPs。大量实验证明了 ELMformer 的优越性与泛化能力。在 SIDD 基准上，我们的方法去噪性能甚至优于需要海量额外 sRGB 训练图像的基于 ISP 的方法。代码发布于 https://github.com/leonmakise/ELMformer。
引用
@article{arxiv.2208.14704,
title = {ELMformer: Efficient Raw Image Restoration with a Locally Multiplicative Transformer},
author = {Jiaqi Ma and Shengyuan Yan and Lefei Zhang and Guoli Wang and Qian Zhang},
journal= {arXiv preprint arXiv:2208.14704},
year = {2022}
}
备注
ACM Multimedia 2022