任务感知动态Transformer用于高效任意尺度图像超分辨率
计算机视觉与模式识别
2024-08-27 v2
摘要
任意尺度超分辨率(ASSR)旨在学习一个能够在任意放大倍数下进行图像超分辨率的单一模型。现有的ASSR网络通常包含一个现成的尺度无关特征提取器和一个任意尺度上采样器。这些特征提取器通常使用固定的网络架构来处理不同的ASSR推理任务，每个任务由输入图像和上采样尺度来表征。然而，这忽略了不同推理场景下超分辨率任务的难度差异，其中简单图像或小尺度SR可以用较少的计算量解决，而困难图像或大尺度SR则需要更多计算。为了应对这种难度变化，本文提出了一种任务感知动态Transformer(TADT)作为高效图像ASSR的输入自适应特征提取器。我们的TADT由基于多尺度Transformer块(MSTB)组的多尺度特征提取骨干网络和任务感知路由控制器(TARC)组成。TARC预测特征提取骨干网络中的推理路径，具体根据输入图像和SR尺度选择MSTB。推理路径的预测由一种新的损失函数引导，以在SR精度和效率之间取得平衡。实验表明，当与三种流行的任意尺度上采样器配合使用时，我们的TADT在与主流特征提取器相比时达到了最先进的ASSR性能，但计算成本相对较低。代码将公开发布。
引用
@article{arxiv.2408.08736,
title = {Task-Aware Dynamic Transformer for Efficient Arbitrary-Scale Image Super-Resolution},
author = {Tianyi Xu and Yiji Zhou and Xiaotao Hu and Kai Zhang and Anran Zhang and Xingye Qiu and Jun Xu},
journal= {arXiv preprint arXiv:2408.08736},
year = {2024}
}
备注
ECAI 2024