用于图像超分辨率的数据升级知识蒸馏
计算机视觉与模式识别
2024-04-30 v4 人工智能
摘要
知识蒸馏（KD）通过将任务相关知识从繁琐的预训练教师模型迁移到紧凑的学生模型来压缩深度神经网络。然而，当前用于超分辨率（SR）网络的 KD 方法忽视了 SR 任务的本质，即教师模型的输出是高质图像（GT）真实分布的含噪近似，这掩盖了教师模型的知识从而导致有限的 KD 效果。为利用教师模型超越 GT 上界，我们提出数据升级知识蒸馏（DUKD），通过从训练数据导出的升级域内数据将教师模型的知识迁移给学生模型。此外，我们通过成对可逆增强对 SR 的 KD 施加标签一致性正则化，以提升学生模型的性能和鲁棒性。综合实验表明，DUKD 方法在多项 SR 任务上显著优于以往方法。
引用
@article{arxiv.2309.14162,
title = {Data Upcycling Knowledge Distillation for Image Super-Resolution},
author = {Yun Zhang and Wei Li and Simiao Li and Hanting Chen and Zhijun Tu and Wenjia Wang and Bingyi Jing and Shaohui Lin and Jie Hu},
journal= {arXiv preprint arXiv:2309.14162},
year = {2024}
}