从 SAM 蒸馏语义先验至高效图像复原模型
计算机视觉与模式识别
2024-04-03 v2
摘要
在图像复原（IR）中，利用分割模型的语义先验是提升性能的常用方法。近期出现的分割一切模型（SAM）已成为提取高级语义先验以增强 IR 任务的强大工具。然而，与现有较小的 IR 模型相比，SAM 的计算开销过高，将其用于提取语义先验会严重阻碍模型推理效率。为解决这一问题，我们提出一个通用框架，将 SAM 的语义知识蒸馏至现有 IR 模型以提升其性能，同时不影响其推理过程。具体而言，该框架包含语义先验融合（SPF）方案和语义先验蒸馏（SPD）方案。SPF 融合原始 IR 模型预测的复原图像与 SAM 预测的语义掩码之间的两类信息，以生成精炼的复原图像。SPD 利用自蒸馏方式蒸馏融合后的语义先验，以提升原始 IR 模型的性能。此外，我们为 SPD 设计了一个语义引导关系（SGR）模块，确保语义特征表示空间的一致性，以充分蒸馏先验知识。我们在多个 IR 模型和任务（包括去雨、去模糊和去噪）上验证了该框架的有效性。
引用
@article{arxiv.2403.16368,
title = {Distilling Semantic Priors from SAM to Efficient Image Restoration Models},
author = {Quan Zhang and Xiaoyu Liu and Wei Li and Hanting Chen and Junchao Liu and Jie Hu and Zhiwei Xiong and Chun Yuan and Yunhe Wang},
journal= {arXiv preprint arXiv:2403.16368},
year = {2024}
}