P-KDGAN：基于 GAN 的渐进式知识蒸馏用于单类新颖性检测
计算机视觉与模式识别
2021-07-27 v2 机器学习
摘要
单类新颖性检测旨在识别不符合预期正常实例的异常实例。本文中，基于编码器-解码器-编码器流程的生成对抗网络（GANs）被用于检测并达到最先进性能。然而，深度神经网络过度参数化，难以部署在资源受限设备上。因此，提出渐进式知识蒸馏与 GANs（P-KDGAN）以学习紧凑且快速的新颖性检测网络。P-KDGAN 是一种新颖尝试，通过所设计的蒸馏损失连接两个标准 GAN，将知识从教师网络传递给学生网络。知识蒸馏的渐进学习是一种两步方法，持续提升学生 GAN 的性能，并优于单步方法。第一步，学生 GAN 在固定权重的预训练教师 GAN 引导下，完全从教师处学习基础知识。第二步，对知识丰富的教师与学生 GAN 采用联合微调，以进一步提升性能与稳定性。在 CIFAR-10、MNIST 和 FMNIST 上的实验结果表明，在以 24.45:1、311.11:1 和 700:1 的压缩比压缩计算量时，我们的方法将学生 GAN 的性能分别提升了 2.44%、1.77% 和 1.73%。
引用
@article{arxiv.2007.06963,
title = {P-KDGAN: Progressive Knowledge Distillation with GANs for One-class Novelty Detection},
author = {Zhiwei Zhang and Shifeng Chen and Lei Sun},
journal= {arXiv preprint arXiv:2007.06963},
year = {2021}
}
备注
IJCAI 2020