MiM-DiT：用于全方位图像修复的扩散变换器中的MoE in MoE
计算机视觉与模式识别
2026-03-04 v1
摘要
全方位图像修复具有挑战性，因为不同损坏类型（如雾、模糊、噪声和低光）对修复策略提出了多样化要求，单个模型难以有效处理。本文提出了集成预训练扩散模型的双层混合专家（MoE）架构的统一图像修复框架。该框架在两个层面上运行：Inter-MoE 层自适应地组合专家组以处理主要损坏类型，而 Intra-MoE 层进一步选择专门的子专家以解决每种类型的细粒度差异。这种设计使模型能够在不同损坏类别之间实现粗粒度适应，同时针对特定类内差异进行细粒度调制，确保在处理复杂真实腐蚀时具有高度专业化。广泛的实验表明，所提方法在多个图像修复任务上相较于最先进的方法表现更佳。
引用
@article{arxiv.2603.02710,
title = {MiM-DiT: MoE in MoE with Diffusion Transformers for All-in-One Image Restoration},
author = {Lingshun Kong and Jiawei Zhang and Zhengpeng Duan and Xiaohe Wu and Yueqi Yang and Xiaotao Wang and Dongqing Zou and Lei Lei and Jinshan Pan},
journal= {arXiv preprint arXiv:2603.02710},
year = {2026}
}
备注
Project website: https://github.com/kkkls/MIM-DiT