面向 PAN 色片预处理的不确定性感知知识蒸馏扩散框架——U-Know-DiffPAN
计算机视觉与模式识别
2024-12-10 v1 图像与视频处理
摘要
传统的 PAN 色片预处理方法常因难以充分利用高频信息而难以恢复细节。此外，基于扩散模型的方法缺乏足够的条件化，无法有效利用 Panchromatic (PAN) 图像和低分辨率多光谱 (LRMS) 输入。为此，我们提出了一种不确定性感知知识蒸馏扩散框架，集成细节增强技术，称为 U-Know-DiffPAN。该框架集成了不确定性感知知识蒸馏，用于在教师模型向学生模型有效传递特征细节方面发挥作用。我们的教师模型通过频率选择性注意力捕获频率细节，促进准确的逆过程学习。通过对编码器进行条件化以融合 PAN 和 LRMS 的紧凑向量表示，并对解码器进行条件化以融合小波变换，我们实现了丰富的频率利用。因此，高容量教师模型可通过不确定性图引导学生模型聚焦于 PAN 色片预处理的困难图像区域，从而将频率丰富特征蒸馏到轻量级学生模型。在多样化数据集上进行的广泛实验表明，U-Know-DiffPAN 在各种最新 SOTA PAN 色片预处理方法之上表现出稳健性和卓越性能。
引用
@article{arxiv.2412.06243,
title = {U-Know-DiffPAN: An Uncertainty-aware Knowledge Distillation Diffusion Framework with Details Enhancement for PAN-Sharpening},
author = {Sungpyo Kim and Jeonghyeok Do and Jaehyup Lee and Munchurl Kim},
journal= {arXiv preprint arXiv:2412.06243},
year = {2024}
}
备注
Please visit our project page at https://kaist-viclab.github.io/U-Know-DiffPAN-site/