面向高效图像修复的动态对比知识蒸馏
计算机视觉与模式识别
2024-12-18 v2
摘要
知识蒸馏 (KD) 是一种有价值且具挑战性的方法，通过从高性能但笨重的教师模型学习来增强紧凑的学生网络。然而，之前的 KD 方法为图像修复忽略了学生的学习状态，采用固定的解空间，这限制了 KD 的潜力。此外，仅依赖 L1 类型损失难以利用图像的分布信息。本文提出了一种新型动态对比知识蒸馏 (DCKD) 框架，用于图像修复。具体而言，我们引入动态对比正则化来感知学生的学习状态，并通过对比学习动态调整蒸馏解空间。此外，我们还提出了分布映射模块来提取和对齐教师和学生模型的像素级类别分布。需要注意的是，提出的 DCKD 是一种结构无关的蒸馏框架，可以适用于不同的 backbone，并可与优化上限约束的方法结合，以进一步提升模型性能。广泛的实验表明，DCKD 在各种图像修复任务和 backbone 上均显著优于最新的 KD 方法。
引用
@article{arxiv.2412.08939,
title = {Dynamic Contrastive Knowledge Distillation for Efficient Image Restoration},
author = {Yunshuai Zhou and Junbo Qiao and Jincheng Liao and Wei Li and Simiao Li and Jiao Xie and Yunhang Shen and Jie Hu and Shaohui Lin},
journal= {arXiv preprint arXiv:2412.08939},
year = {2024}
}