通过 cGAN 生成样本蒸馏与迁移知识用于图像分类与回归
计算机视觉与模式识别
2022-12-29 v5 机器学习
摘要
知识蒸馏（KD）在深度学习的图像分类任务中已被积极研究，旨在基于教师模型的知识提升学生的性能。然而，将 KD 应用于具有标量响应变量的图像回归很少被研究，且尚不存在适用于分类与回归任务的 KD 方法。此外，现有 KD 方法常要求实践者仔细选择或调整教师与学生架构，使这些方法在实践中灵活性较差。为以统一方式解决上述问题，我们提出一种基于 cGAN 的综合 KD 框架，称为 cGAN-KD。与现有 KD 方法根本不同，cGAN-KD 通过 cGAN 生成的样本将知识从教师模型蒸馏并迁移至学生模型。这一新颖机制使 cGAN-KD 适用于分类与回归任务，可与其他 KD 方法兼容，且对教师与学生架构不敏感。本文推导了在 cGAN-KD 框架下训练的学生模型的误差界，为 cGAN-KD 为何有效提供了理论，并指导其实际实现。在 CIFAR-100 和 ImageNet-100 上的大量实验表明，我们可将最先进 KD 方法与 cGAN-KD 框架结合以产生新的最先进水平。此外，在 Steering Angle 和 UTKFace 上的实验证明了 cGAN-KD 在图像回归任务中的有效性，而现有 KD 方法在此不适用。
引用
@article{arxiv.2104.03164,
title = {Distilling and Transferring Knowledge via cGAN-generated Samples for Image Classification and Regression},
author = {Xin Ding and Yongwei Wang and Zuheng Xu and Z. Jane Wang and William J. Welch},
journal= {arXiv preprint arXiv:2104.03164},
year = {2022}
}