多专家自适应选择：面向全能图像修复的任务平衡
计算机视觉与模式识别
2024-07-30 v1
摘要
单一图像修复框架实现多任务图像修复的研究引起了广泛关注。然而仍存在若干实际挑战，包括满足不同任务的具体且同时需求、平衡任务之间的关系以及有效利用模型设计中的任务相关性。为此，本文探索了多专家自适应选择机制。我们首先设计一种考虑像素通道层和全局层，涵盖图像的低频和高频成分的特征表示方法。基于此方法，我们构建了一个多专家选择和集成方案。该方案根据输入图像的内容以及当前任务的提示，从专家库中自适应选择最合适的专家。它不仅满足不同任务的个性化需求，还在任务之间实现平衡和优化。通过共享专家，我们的设计促进了不同任务之间的相互关联，从而提高了整体性能和资源利用率。此外，多专家机制有效消除了不相关的专家，减少了它们带来的干扰，进一步提高了图像修复的有效性和准确性。实验结果表明，我们提出的方法在有效性和优越性方面均优于现有方法，凸显了其在多任务图像修复中的实际应用潜力。
引用
@article{arxiv.2407.19139,
title = {Multi-Expert Adaptive Selection: Task-Balancing for All-in-One Image Restoration},
author = {Xiaoyan Yu and Shen Zhou and Huafeng Li and Liehuang Zhu},
journal= {arXiv preprint arXiv:2407.19139},
year = {2024}
}