中文

InstructIR:遵循人类指令的高质量图像恢复

计算机视觉与模式识别 2024-09-27 v5 机器学习 图像与视频处理

摘要

图像恢复是一个基本问题,涉及从退化的观测中恢复高质量的清晰图像。一体化图像恢复模型可以使用退化特定信息作为提示来引导恢复模型,从而有效地从各种类型和程度的退化中恢复图像。在这项工作中,我们提出了第一种使用人类编写的指令来引导图像恢复模型的方法。给定自然语言提示,我们的模型能够从退化的对应物中恢复出高质量的图像,并考虑多种退化类型。我们的方法InstructIR在多个恢复任务上取得了最先进的结果,包括图像去噪、去雨、去模糊、去雾和(低光)图像增强。InstructIR比之前的一体化恢复方法提高了+1dB。此外,我们的数据集和结果代表了文本引导图像恢复与增强新研究的基准。我们的代码、数据集和模型可在以下网址获取:https://github.com/mv-lab/InstructIR。

关键词

引用

@article{arxiv.2401.16468,
  title  = {InstructIR: High-Quality Image Restoration Following Human Instructions},
  author = {Marcos V. Conde and Gregor Geigle and Radu Timofte},
  journal= {arXiv preprint arXiv:2401.16468},
  year   = {2024}
}

备注

European Conference on Computer Vision (ECCV) 2024