图像修复知识蒸馏：同时从受损与干净图像中学习

知识蒸馏通过模型压缩在分类和分割任务中得到了广泛应用。然而，其在图像到图像转换中，特别是图像修复任务中的潜力仍未得到充分探索。为填补这一差距，我们提出一种针对图像修复任务中的模型压缩的同时学习知识蒸馏（SLKD）框架。SLKD采用双教师单学生架构，包含两种不同的学习策略：降质除除学习（DRL）和图像重建学习（IRL），两者同时进行。在DRL中，学生编码器学习来自Teacher A的特征，专注于去除降质因素，辅以一种新颖的BRISQUE提取器。在IRL中，学生解码器学习来自Teacher B的特征，以重建干净图像，辅以一种提出的PIQE提取器。这些策略使学生能够同时从受损和干净图像中学习，确保图像修复模型的高质量压缩。实验结果在五个数据集和三个任务上表明，SLKD在FLOPs和参数上实现了超过80%的显著降低，同时保持了强大的图像修复性能。