一种高效且混合异构的图像修复模型

图像修复(IR)作为一种基础的多媒体数据处理任务，对下游视觉应用具有重要影响。近年来，研究者们致力于开发能够处理多样性损坏类型的通用IR模型，从而降低模型开发的成本和复杂度。当前主流方法基于三种架构范式：CNN、Transformer和Mamba。CNN在高效推断方面表现突出，而Transformer和Mamba在捕获长程依赖和建模全局上下文方面表现更佳。虽然每个架构在专门的单任务设置中都取得了成功，但针对多样化IR挑战的异构架构有效集成的努力仍有限。为弥合这一差距，我们提出RestorMixer，一种基于混合架构融合的高效且通用的IR模型。RestorMixer采用三阶段编码器-解码器结构，其中每个阶段都针对输入的分辨率和特征特征进行优化。在初始高分辨率阶段，采用CNN-based模块快速提取浅层局部特征。在后续阶段，我们整合了精炼的多向扫描Mamba模块与多尺度窗口基于自注意力机制。这一层次化和自适应设计使模型能够利用CNN在局部特征提取方面的优势、Mamba在全局上下文建模方面的优势以及注意力机制在动态特征细化方面的优势。大量实验结果表明，RestorMixer在多个IR任务上实现了领先的性能，同时保持了高效的推断速度。官方代码可访问https://github.com/ClimBin/RestorMixer。