超越像素：文本增强真实图像恢复的泛化能力
计算机视觉与模式识别
2024-12-09 v2
摘要
泛化能力一直是真实图像恢复领域的核心挑战。虽然近期基于扩散的恢复方法利用文本到图像模型的生成先验，在恢复更逼真细节方面取得了进展，但在处理分布外（out-of-distribution）的真实世界图像时，仍会遇到“生成能力停用”的问题。为解决此问题，我们提出利用文本作为辅助的不变表示来重新激活生成模型的生成能力。我们首先确定了文本输入的两个关键属性：丰富性和相关性，并研究了它们各自对模型性能的影响。基于这些见解，我们引入了Res-Captioner，一个能够根据图像内容和退化程度生成增强文本描述，从而有效缓解响应失败的模块。此外，我们提出了RealIR，一个旨在覆盖多样化真实场景的新基准。大量实验表明，Res-Captioner显著提升了扩散式恢复模型的泛化能力，同时保持即插即用。
引用
@article{arxiv.2412.00878,
title = {Beyond Pixels: Text Enhances Generalization in Real-World Image Restoration},
author = {Haoze Sun and Wenbo Li and Jiayue Liu and Kaiwen Zhou and Yongqiang Chen and Yong Guo and Yanwei Li and Renjing Pei and Long Peng and Yujiu Yang},
journal= {arXiv preprint arXiv:2412.00878},
year = {2024}
}