从其他任务获取先验以去除严重模糊
计算机视觉与模式识别
2023-05-02 v1
摘要
由于相机与场景之间的大幅运动，从严重模糊输入中恢复清晰结构是一个具有挑战性的问题。尽管一些工作在人脸图像上应用分割图进行去模糊，但它们无法处理自然场景，因为物体和退化更为复杂，且不准确的分割图会导致细节丢失。对于通用场景去模糊，模糊图像与对应清晰图像在高层视觉任务下的特征空间更为接近，这启发我们依赖其他任务（如分类）来学习严重模糊去除情形下的综合性先验。我们提出了一种基于知识蒸馏的跨层特征学习策略以学习这些先验，包括用于恢复潜在细节的全局上下文和清晰局部结构。此外，我们提出了一种具有多级聚合和语义注意力变换的语义先验嵌入层，以有效整合先验。我们将所提先验引入包括 UNet 和其他主流去模糊基线在内的多种模型，从而在严重模糊去除上取得更好性能。在自然图像去模糊基准以及真实世界图像（如 GoPro 和 RealBlur 数据集）上的大量实验证明了我们方法的有效性和泛化能力。
引用
@article{arxiv.2302.06898,
title = {Take a Prior from Other Tasks for Severe Blur Removal},
author = {Pei Wang and Danna Xue and Yu Zhu and Jinqiu Sun and Qingsen Yan and Sung-eui Yoon and Yanning Zhang},
journal= {arXiv preprint arXiv:2302.06898},
year = {2023}
}