迈向高效的多合一图像复原：一种顺序与提示学习策略
计算机视觉与模式识别
2024-03-21 v3
摘要
虽然单任务图像复原（IR）已取得显著成功，但训练一个能够处理多种 IR 任务的单一模型仍然是一个具有挑战性的问题。在本文中，我们深入研究了包含七种流行 IR 任务的多合一（MiO）IR 问题。我们指出，MiO IR 面临两个关键挑战：多样化目标的优化和对多种任务的适应。为应对这些挑战，我们提出了两种简单而有效的策略。第一种策略称为顺序学习，旨在解决如何优化多样化目标的问题，它引导网络以顺序方式逐步学习各个 IR 任务，而不是将它们混合在一起。第二种策略即提示学习，旨在解决如何适应不同 IR 任务的问题，它协助网络理解特定任务并提高泛化能力。通过在 19 个测试集上进行评估，我们证明了顺序学习和提示学习策略可以显著增强常用 CNN 和 Transformer 骨干网络的 MiO 性能。我们的实验还表明，这两种策略可以相辅相成，以学习更好的退化表示并增强模型的鲁棒性。预计我们提出的 MiO IR 公式和策略将促进具有更高泛化能力的 IR 模型训练研究。
引用
@article{arxiv.2401.03379,
title = {Towards Effective Multiple-in-One Image Restoration: A Sequential and Prompt Learning Strategy},
author = {Xiangtao Kong and Chao Dong and Lei Zhang},
journal= {arXiv preprint arXiv:2401.03379},
year = {2024}
}