ConStyle v2：面向全方位图像修复的强大提示器
计算机视觉与模式识别
2024-06-27 v1 图像与视频处理
摘要
本文介绍ConStyle v2，一个强大的即插即用提示器，旨在输出干净的视觉提示，并帮助 U-Net 图像修复模型处理多种退化。IRConStyle——由 ConStyle 和通用修复网络组成的图像修复框架的联合训练过程分为两个阶段：首先独立预训练 ConStyle，然后冻结其权重以指导通用修复网络的训练。在预训练阶段提出了三个改进以训练 ConStyle：无监督预训练、添加预文本任务（即分类），以及采用知识蒸馏。不需任何额外花哨的技巧，我们即可在不到两个 GPU 天内获得 ConStyle v2，一个适用于全方位图像修复的强大提示器，且无需任何微调。在 Restormer（基于 Transformer）、NAFNet（基于 CNN）、MAXIM-1S（基于 MLP）以及一个基础 CNN 网络上进行大量实验，表明 ConStyle v2 可提升任何 U-Net 风格图像修复模型为全方位图像修复模型。此外，由经过良好训练的 ConStyle v2 指导的模型在某些特定退化情况下表现优于 ConStyle。
引用
@article{arxiv.2406.18242,
title = {ConStyle v2: A Strong Prompter for All-in-One Image Restoration},
author = {Dongqi Fan and Junhao Zhang and Liang Chang},
journal= {arXiv preprint arXiv:2406.18242},
year = {2024}
}