KBNet：用于图像复原的核基网络
计算机视觉与模式识别
2023-03-07 v1
摘要
如何聚合空间信息在基于学习的图像复原中起着至关重要的作用。现有大多数基于CNN的网络采用静态卷积核来编码空间信息，无法自适应地聚合空间信息。近期基于transformer的架构实现了自适应空间聚合，但缺乏卷积理想的归纳偏置且需要高昂的计算成本。本文提出核基注意力（KBA）模块，引入可学习的核基来建模具有代表性的图像模式以进行空间信息聚合。不同的核基被训练用于建模不同的局部结构。在每个空间位置，它们由预测的逐像素系数线性且自适应地融合，以获得聚合权重。基于KBA模块，我们进一步设计多轴特征融合（MFF）模块，以编码并融合通道维、空间不变和像素自适应特征用于图像复原。我们的模型称为核基网络（KBNet），在图像去噪、去雨和去模糊等十余项基准上取得了最先进的性能，同时比先前SOTA方法所需计算成本更低。
引用
@article{arxiv.2303.02881,
title = {KBNet: Kernel Basis Network for Image Restoration},
author = {Yi Zhang and Dasong Li and Xiaoyu Shi and Dailan He and Kangning Song and Xiaogang Wang and Hongwei Qin and Hongsheng Li},
journal= {arXiv preprint arXiv:2303.02881},
year = {2023}
}