中文

Edit2Restore:基于参数高效适配的少样本图像修复

图像与视频处理 2026-01-21 v2 计算机视觉与模式识别

摘要

图像修复传统上需要在每种退化类型上训练数千个配对样本的专用模型。我们挑战了这一范式,通过演示强大的预训练文本条件图像编辑模型可以通过参数高效微调有效地适用于多个修复任务,只需少量示例。我们的方法仅使用 16-128 个每任务的配对图像,对 FLUX.1 Kontext(一种面向图像到图像转换的 120 亿参数流匹配模型)进行 LoRA 适配器的微调,由简单文本提示指导,指定修复操作。与现有方法使用数千个样本从头训练专用修复网络不同,我们利用大规模预训练编辑模型中已编码的丰富视觉先验,大幅降低数据需求,同时保持高感知质量。一个单一的统一 LoRA 适配器,可由任务特定文本提示条件化,有效处理多种退化,包括去噪、去雨和去雾。通过全面消融研究,我们分析了:(i) 训练集大小对修复质量的影响,(ii) 任务特定与统一多任务适配器之间的权衡,(iii) 文本编码器微调的作用,以及 (iv) 零样本基线性能。虽然我们的 метод优先考虑感知质量而非像素级重构指标如 PSNR/SSIM,但结果表明,经过适当适配的预训练图像编辑模型为传统图像修复方法提供了引人注目且数据高效的替代方案,为少样本、提示引导的图像增强开辟了新方向。可在 https://github.com/makinyilmaz/Edit2Restore 获取复现本研究结果的代码。

关键词

引用

@article{arxiv.2601.03391,
  title  = {Edit2Restore:Few-Shot Image Restoration via Parameter-Efficient Adaptation of Pre-trained Editing Models},
  author = {M. Akın Yılmaz and Ahmet Bilican and Burak Can Biner and A. Murat Tekalp},
  journal= {arXiv preprint arXiv:2601.03391},
  year   = {2026}
}