结合重参数化的多尺度隐式 Transformer 用于任意尺度超分辨率
计算机视觉与模式识别
2024-03-12 v1
摘要
近年来，基于隐式神经表示的方法在任意尺度超分辨率 (ASSR) 中展现出了优异的能力。尽管这些方法通过生成潜在码来表示图像特征，但这些潜在码难以适应超分辨率的不同放大倍数，严重影响了其性能。针对这一点，我们设计了多尺度隐式 Transformer (MSIT)，由多尺度神经算子 (MSNO) 和多尺度自注意力 (MSSA) 组成。其中，MSNO 通过特征增强、多尺度特征提取和多尺度特征融合获取多尺度潜在码。MSSA 进一步增强了潜在码的多尺度特征，从而带来更好的性能。此外，为了提升网络性能，我们提出了结合累积训练策略的再交互模块 (RIM)，以提高网络学习信息的多样性。我们首次在 ASSR 中系统地引入了多尺度特征，进行了大量实验以验证 MSIT 的有效性，并且我们的方法在任意超分辨率任务中取得了 SOTA 性能。
引用
@article{arxiv.2403.06536,
title = {Multi-Scale Implicit Transformer with Re-parameterize for Arbitrary-Scale Super-Resolution},
author = {Jinchen Zhu and Mingjian Zhang and Ling Zheng and Shizhuang Weng},
journal= {arXiv preprint arXiv:2403.06536},
year = {2024}
}
备注
Super-resolution, Arbitrary-Scale Super-Resolution, Multi-Scale, Transformer