梦幻清理：基于隐私安全数据 curated 的高容量真实场景图像修复
计算机视觉与模式识别
2024-10-30 v2
摘要
真实场景下的图像修复（IR）面临模型容量不足和数据集不全的双重挑战。为此，我们提出了双重策略：GenIR——创新的数据 curated 流程，以及 DreamClear——基于扩散转换器（DiT）的前沿图像修复模型。GenIR 是我们首次性贡献，构建了一个双提示学习管道，克服了现有数据集仅包含数千张图片，难以满足大模型泛化能力的局限。该方法将流程简化为三个阶段：图像-文本配对构建、双提示微调和数据生成与筛选。通过规避繁琐的数据爬取过程，确保版权合规，提供一种高性价比、隐私安全的 IR 数据集构建方案。最终构建了一个包含百万张高质量图片的大规模数据集。我们的第二项贡献是 DreamClear，这是一个基于 DiT 的图像修复模型。它利用文本到图像（T2I）扩散模型的生成先验和多模态大语言模型（MLLM）的鲁棒感知能力，实现真实感修复。为提升模型适应多样化真实退化情况的能力，我们引入了自适应混合调制器（MoAM）。它运用基于标记的退化先验，动态整合各种修复专家，从而扩大模型可处理退化范围。我们的大量实验表明，DreamClear 在性能上显著领先，凸显了我们双重策略在真实场景图像修复中的有效性。代码和预训练模型已提供：https://github.com/shallowdream204/DreamClear。
关键词
引用
@article{arxiv.2410.18666,
title = {DreamClear: High-Capacity Real-World Image Restoration with Privacy-Safe Dataset Curation},
author = {Yuang Ai and Xiaoqiang Zhou and Huaibo Huang and Xiaotian Han and Zhengyu Chen and Quanzeng You and Hongxia Yang},
journal= {arXiv preprint arXiv:2410.18666},
year = {2024}
}
备注
Accepted by NeurIPS 2024