基于多粒度先验混合的知识蒸馏用于图像超分辨率
计算机视觉与模式识别
2024-04-04 v1
摘要
知识蒸馏（KD）是一种有前景但具有挑战性的模型压缩技术，它将丰富的学习表示从性能良好但笨重的教师模型转移到紧凑的学生模型。先前的图像超分辨率（SR）方法大多直接比较特征图，或在使用基本代数运算（如平均、点积）标准化维度后进行比较。然而，特征图之间的内在语义差异被忽略了，这些差异是由网络之间不同的表达能力造成的。本文提出了MiPKD，一种多粒度先验混合知识蒸馏框架，通过在统一潜在空间中的特征混合和随机网络块混合来促进高效的SR模型。大量实验证明了所提出的MiPKD方法的有效性。
引用
@article{arxiv.2404.02573,
title = {Knowledge Distillation with Multi-granularity Mixture of Priors for Image Super-Resolution},
author = {Simiao Li and Yun Zhang and Wei Li and Hanting Chen and Wenjia Wang and Bingyi Jing and Shaohui Lin and Jie Hu},
journal= {arXiv preprint arXiv:2404.02573},
year = {2024}
}