用于高效单图像超分辨的特征域自适应对比蒸馏
计算机视觉与模式识别
2023-03-27 v2 计算工程、金融与科学
摘要
近来，基于 CNN 的单图像超分辨（SISR）为获得更好性能而具有大量参数与高计算成本，限制了其在移动等资源受限设备上的适用性。作为使网络高效的方法之一，将教师有用知识迁移至学生的知识蒸馏（KD）正被研究。近来，面向 SISR 的 KD 利用特征蒸馏（FD）来最小化教师与学生网络间特征图的欧氏距离损失，但其未充分考量如何在给定网络容量约束下有效且有意义地从教师传递知识以提升学生性能。本文中，我们提出一种特征域自适应对比蒸馏（FACD）方法，用于高效训练轻量级学生 SISR 网络。我们展示了现有 FD 方法使用欧氏距离损失的局限性，并提出一种特征域对比损失，使学生网络从教师的特征域表示中学习更丰富的信息。此外，我们提出一种自适应蒸馏，根据训练块的条件选择性地施加蒸馏。实验结果表明，采用所提 FACD 方案的学生 EDSR 与 RCAN 网络不仅在整个基准数据集与尺度上的 PSNR 性能得到改善，主观图像质量也优于传统 FD 方法。
引用
@article{arxiv.2211.15951,
title = {Feature-domain Adaptive Contrastive Distillation for Efficient Single Image Super-Resolution},
author = {HyeonCheol Moon and JinWoo Jeong and SungJei Kim},
journal= {arXiv preprint arXiv:2211.15951},
year = {2023}
}
备注
Under review