面向一类新颖性检测的渐进式 GAN 蒸馏新视角
计算机视觉与模式识别
2023-07-03 v3
摘要
一类新颖性检测旨在识别与预期正常实例分布不同的异常实例。本文中，基于编码器-解码器-编码器方案（EDE-GAN）的生成对抗网络取得了 SOTA 性能。以下两个因素服务于上述目的：1）EDE-GAN 计算两个潜向量间的距离作为异常分数，不同于以往利用图像间重建误差的方法。2）当批大小设为 1 时模型取得最佳结果。为阐明其优越性，我们设计了一种新的 GAN 架构，并根据不同批大小比较性能。此外，实验带来了发现，我们的结果表明在模型训练时约束潜空间也大有裨益。为学习紧凑且快速的模型，我们提出一种新技术——基于 GAN 的渐进式知识蒸馏（P-KDGAN），其通过设计的蒸馏损失连接两个标准 GAN。两步渐进学习持续提升学生 GAN 的性能，优于单步方法。我们在 CIFAR-10、MNIST 和 FMNIST 数据集上的实验结果表明，在压缩比分别为 24.45:1、311.11:1 和 700:1 时，P-KDGAN 将学生 GAN 的性能提升了 2.44%、1.77% 和 1.73%。
引用
@article{arxiv.2109.07295,
title = {New Perspective on Progressive GANs Distillation for One-class Novelty Detection},
author = {Zhiwei Zhang and Yu Dong and Hanyu Peng and Shifeng Chen},
journal= {arXiv preprint arXiv:2109.07295},
year = {2023}
}
备注
withdraw original draft