面向开放集图像恢复的测试时退化自适应
计算机视觉与模式识别
2024-06-06 v4
摘要
与从预定义的退化集合中恢复图像的闭集场景不同，开放集图像恢复旨在处理预训练阶段未预见到的未知退化，据我们所知，这一领域鲜有触及。本工作研究了这一具有挑战性的问题，并揭示了其本质为测试数据与训练数据之间未识别的分布偏移。近期，测试时自适应已成为解决这种固有差异的一种基本方法。受此启发，我们提出了一种用于开放集图像恢复的测试时退化自适应框架，该框架由三个组件组成，即 i) 一个预训练且与退化无关的扩散模型，用于生成干净图像；ii) 一个测试时退化适配器，在测试阶段根据输入图像自适应未知退化；iii) 适配器引导的图像恢复，通过适配器引导模型生成相应的干净图像。通过在多种退化上的实验，我们表明我们的方法达到了与任务特定方法相当甚至更好的性能。代码可在 https://github.com/XLearning-SCU/2024-ICML-TAO 获取。
引用
@article{arxiv.2312.02197,
title = {Test-Time Degradation Adaptation for Open-Set Image Restoration},
author = {Yuanbiao Gou and Haiyu Zhao and Boyun Li and Xinyan Xiao and Xi Peng},
journal= {arXiv preprint arXiv:2312.02197},
year = {2024}
}