结合退化提示扩散的无数据蒸馏用于多天气图像恢复
计算机视觉与模式识别
2024-09-06 v1
摘要
多天气图像恢复已取得显著进展，但不断增加的模型容量和昂贵的数据采集限制了其在内存受限设备上的应用。无数据蒸馏提供了一种替代方案，允许在不依赖原始训练数据的情况下，从预训练教师模型中学习轻量级学生模型。现有的无数据学习方法主要利用 GANs 生成的伪数据或从互联网收集的真实数据来优化模型。然而，它们不可避免地面临训练不稳定或与原始数据产生域偏移的问题。在本文中，我们提出了一种新颖的基于退化提示扩散的无数据蒸馏框架，用于多天气图像恢复（D4IR）。它用预训练扩散模型替代 GANs 以避免模型崩溃，并引入退化感知提示适配器以促进内容驱动的条件扩散，从而生成域相关图像。具体而言，首先设计了一种基于对比的退化提示适配器，从网络收集的退化图像中捕获退化感知提示。然后，将收集到的未配对干净图像扰动为稳定扩散的潜在特征，并以退化感知提示为条件，合成新的域相关退化图像用于知识蒸馏。实验表明，我们的方法取得了与使用原始训练数据蒸馏的模型相当的性能，甚至优于其他主流无监督方法。
引用
@article{arxiv.2409.03455,
title = {Data-free Distillation with Degradation-prompt Diffusion for Multi-weather Image Restoration},
author = {Pei Wang and Xiaotong Luo and Yuan Xie and Yanyun Qu},
journal= {arXiv preprint arXiv:2409.03455},
year = {2024}
}