CAMixerSR:唯有细节需要更多“注意力”
图像与视频处理
2024-03-18 v2 计算机视觉与模式识别
摘要
为了满足对大图像(2K-8K)超分辨率 (SR) 迅速增长的需求,主流方法遵循两条独立的路径:1) 通过内容感知路由加速现有网络,以及 2) 通过 token 混合器细化设计更好的超分辨率网络。尽管直接,但它们遇到了不可避免的缺陷(例如,路由不灵活或处理缺乏判别性),限制了质量 - 复杂度权衡的进一步改进。为了消除这些缺点,我们通过提出内容感知混合器 (CAMixer) 整合了这些方案,该混合器为简单上下文分配卷积,并为稀疏纹理分配额外的可变形窗口注意力。具体而言,CAMixer 使用可学习预测器生成多个引导项,包括用于窗口扭曲的偏移量、用于分类窗口的掩码,以及赋予卷积动态特性的卷积注意力,从而自适应地调节注意力以包含更多有用的纹理,并提高卷积的表示能力。我们进一步引入了全局分类损失以提高预测器的准确性。通过简单堆叠 CAMixer,我们获得了 CAMixerSR,其在大图像 SR、轻量级 SR 和全向图像 SR 上实现了卓越的性能。
引用
@article{arxiv.2402.19289,
title = {CAMixerSR: Only Details Need More "Attention"},
author = {Yan Wang and Yi Liu and Shijie Zhao and Junlin Li and Li Zhang},
journal= {arXiv preprint arXiv:2402.19289},
year = {2024}
}
备注
Accepted by CVPR 2024