InstructRestore：基于人类指令的区域定制图像恢复
计算机视觉与模式识别
2025-04-01 v1
摘要
尽管基于扩散先验的图像恢复取得了显著进展，但大多数现有方法对整幅图像应用统一处理，缺乏根据用户指令执行区域定制图像恢复的能力。在本工作中，我们提出了一个新框架，即 InstructRestore，用于遵循人类指令执行区域可调的图像恢复。为此，我们首先开发了一个数据生成引擎来生成训练三元组，每个三元组由一张高质量图像、目标区域描述和对应的区域掩码组成。借助该引擎和严格的数据筛选，我们构建了一个包含 536,945 个三元组的综合数据集，以支持该任务的训练和评估。随后，我们研究了如何在 ControlNet 架构下集成低质量图像特征，以调整图像细节增强的程度。因此，我们开发了一个类 ControlNet 模型来识别目标区域，并为目标区域和周围区域分配不同的集成尺度，从而实现符合用户指令的区域定制图像恢复。实验结果表明，我们提出的 InstructRestore 方法能够实现有效的基于人类指令的图像恢复，例如具有散景效果的图像和用户指定的局部增强。我们的工作推进了交互式图像恢复与增强技术的研究。数据、代码和模型可在 https://github.com/shuaizhengliu/InstructRestore.git 找到。
引用
@article{arxiv.2503.24357,
title = {InstructRestore: Region-Customized Image Restoration with Human Instructions},
author = {Shuaizheng Liu and Jianqi Ma and Lingchen Sun and Xiangtao Kong and Lei Zhang},
journal= {arXiv preprint arXiv:2503.24357},
year = {2025}
}