面向单步实用图像超分辨的秩混合与退化感知路由
计算机视觉与模式识别
2025-12-03 v3
摘要
稀疏门控混合专家(MoE)架构，如DeepSeek和Grok，的成功挑战了研究人员探索其适应各个领域的可能性。在实际图像超分辨(Real-ISR)中，现有方法主要依赖通过Low-Rank Adaptation(LoRA)模块微调预训练扩散模型以重建高分辨率(HR)图像。然而，这些稠密Real-ISR模型在捕捉复杂真实退化样本的异构特征方面受限，或在等效计算预算下实现知识在输入之间的共享。为此，我们研究了稀疏MoE在Real-ISR中的集成，提出一种用于单步图像超分辨的混合秩(MoR)架构。我们引入细粒度的专家分区策略，将LoRA中的每个秩视为独立的专家。该设计使我们能够在隔离固定位置的秩作为共享专家，以保留常识特征并最小化路由冗余。此外，我们开发了一个基于CLIP嵌入和预定义正负文本对的退化估计模块，用于计算相对退化评分，动态指导专家激活。为更好地适应不同样本的复杂度，我们包含零专家槽位并提出一种退化感知负载平衡损失，该损失根据退化严重程度动态调整激活专家的数量，确保最佳计算资源分配。全面实验验证了我们的框架的有效性和领先的SOTA性能。
引用
@article{arxiv.2511.16024,
title = {Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution},
author = {Xiao He and Zhijun Tu and Kun Cheng and Mingrui Zhu and Jie Hu and Nannan Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2511.16024},
year = {2025}
}
备注
16 pages, Accepted by AAAI 2026, v2: corrected typos