复杂性专家是图像修复的任务判别学习者

最近，所有-in-one 图像修复模型的进展彻底改变了能够通过统一框架解决多种退化问题的能力。然而，与特定任务相关的参数常常对其他任务保持不活跃状态，使 mixture-of-experts (MoE) 架构成为自然的延伸。尽管如此，MoE 常常表现不一致，一些专家意外地跨任务泛化，而另一些则在其原本的范围内难以胜任。这阻碍了通过在推理时绕过无关专家来充分发挥 MoE 的计算优势。我们将这种不希望的行为归因于传统 MoE 的统一和刚性架构。为此，我们引入“复杂性专家”——具有不同计算复杂度和感受野的灵活专家块。一个关键挑战是分配任务给每个专家，因为退化复杂度在先进是未知的。因此，我们以对低复杂度偏好的简单方式执行任务。意外地发现，这种偏好有效地驱动了任务特定的分配，将任务分配给具有适当复杂度的专家。广泛的实验验证了我们的方法，表明能够在推理时绕过无关专家，同时保持卓越的性能。我们提出的 MoCE-IR 模型超过了最先进的方法，确认了其效率和实际应用性。源代码和模型可在 \href{https://eduardzamfir.github.io/moceir/}{\texttt{eduardzamfir.github.io/MoCE-IR/}} 公开获取。