HAIR：基于超网络的一体化图像恢复
计算机视觉与模式识别
2024-11-20 v4
摘要
图像恢复旨在从退化版本中恢复高质量清晰图像。图像恢复领域的最新进展表明，一体化图像恢复模型在同时处理各种未知退化方面具有显著效果。然而，这些现有方法通常使用相同参数来处理不同类型的退化图像，迫使模型在不同任务之间平衡性能，从而限制了每项任务的性能。为缓解此问题，我们提出 HAIR，一种基于超网络的一体化图像恢复即插即用方法，根据输入图像生成参数，从而使模型能够动态适应特定退化。具体而言，HAIR 由两个主要组件组成：分类器和超选择网络（HSN）。分类器是一个简单的图像分类网络，用于生成包含输入图像退化信息的全局信息向量（GIV），HSN 是一个简单的全连接神经网络，接收 GIV 并输出对应模块的参数。大量实验表明，HAIR 能够以即插即用的方式显著提升现有图像恢复模型的性能，无论是在单任务还是一体化设置中。值得注意的是，我们将 HAIR 集成到知名模型 Restormer 中得到的 Res-HAIR，能够获得优于或可与当前最先进方法媲美的性能。此外，我们在理论上证明，为达到给定的小误差，所提出的 HAIR 相比主流基于嵌入的一体化方法需要更少的参数。代码可在 https://github.com/toummHus/HAIR 获取。
引用
@article{arxiv.2408.08091,
title = {HAIR: Hypernetworks-based All-in-One Image Restoration},
author = {Jin Cao and Yi Cao and Li Pang and Deyu Meng and Xiangyong Cao},
journal= {arXiv preprint arXiv:2408.08091},
year = {2024}
}