面向单图像超分辨率的图像特定卷积核调制
图像与视频处理
2021-11-17 v1 计算机视觉与模式识别
摘要
近年来，基于深度学习的超分辨率方法取得了优异的性能，但主要侧重于通过输入大量样本来训练单一的泛化深度网络。然而直观上，每幅图像都有其表征，并期望获得自适应模型。针对此问题，我们提出了一种新颖的图像特定卷积核调制（IKM），利用图像或特征的全局上下文信息生成注意力权重，以自适应地调制卷积核，其在嵌入最先进的架构时无需任何额外参数即可优于普通卷积及若干现有注意力机制。特别地，为了在小批量训练中优化我们的 IKM，我们引入了图像特定优化（IsO）算法，其比传统的小批量 SGD 优化更为有效。此外，我们研究了 IKM 对最先进架构的影响，并利用具有 U 型残差学习和沙漏密集块学习的新骨干网络，称为 U-沙漏密集网络（U-HDN），该架构在理论和实验上均能最大程度地提升 IKM 的有效性。在单图像超分辨率上的大量实验表明，所提方法优于最先进的方法。代码见 github.com/YuanfeiHuang/IKM。
引用
@article{arxiv.2111.08362,
title = {Image-specific Convolutional Kernel Modulation for Single Image Super-resolution},
author = {Yuanfei Huang and Jie Li and Yanting Hu and Xinbo Gao and Hua Huang},
journal= {arXiv preprint arXiv:2111.08362},
year = {2021}
}
备注
13 pages, submitted to IEEE Transactions, codes are available at https://github.com/YuanfeiHuang/IKM