UniProcessor：一种文本驱动的统一低层图像处理器
计算机视觉与模式识别
2024-07-31 v1
摘要
图像处理，包括图像恢复、图像增强等，涉及从退化输入生成高质量干净图像。深度学习方法在单任务条件下表现出色，但需要为不同退化和水平训练separate models，这限制了这些模型的泛化能力并限制了其在现实世界中的应用。在本文中，我们提出一种用于低层视觉任务的文本驱动统一图像处理器，称为 UniProcessor，能够有效处理各种退化类型和水平，并支持多模态控制。具体而言，UniProcessor 使用主体提示编码退化特定信息，并通过操作提示处理退化。这些 context control features 通过跨注意力注入 UniProcessor 主干以控制处理过程。为自动生成主体提示，我们进一步构建了一个通过指令调优实现的通用低层退化感知视觉语言模型。我们的 UniProcessor 覆盖 30 种退化类型，大量实验表明，UniProcessor 能在无需额外训练或调参的情况下良好处理这些退化，并超过其他竞争方法。此外，借助退化感知 context control，UniProcessor 首次展示了对单一图像中多个退化的单个失真进行个体处理的能力。
引用
@article{arxiv.2407.20928,
title = {UniProcessor: A Text-induced Unified Low-level Image Processor},
author = {Huiyu Duan and Xiongkuo Min and Sijing Wu and Wei Shen and Guangtao Zhai},
journal= {arXiv preprint arXiv:2407.20928},
year = {2024}
}