基于一类嵌入逆向蒸馏的异常检测
计算机视觉与模式识别
2022-03-24 v2
摘要
知识蒸馏（KD）在无监督异常检测（AD）这一挑战性问题上取得了令人瞩目的结果。教师-学生（T-S）模型中异常的表征差异为 AD 提供了关键证据。然而，先前研究中使用相似或相同的架构构建教师与学生模型，阻碍了异常表征的多样性。为解决该问题，我们提出了一种由教师编码器与学生解码器组成的新型 T-S 模型，并相应地引入了一种简单而有效的“逆向蒸馏”范式。学生网络不直接接收原始图像，而是以教师模型的一类嵌入为输入，并旨在还原教师的多尺度表征。本质上，本研究中的知识蒸馏从抽象的高级表征出发，走向低级特征。此外，我们在 T-S 模型中引入了一个可训练的一类瓶颈嵌入（OCBE）模块。所获得的紧凑嵌入有效保留了正常模式的关键信息，同时丢弃了异常扰动。在 AD 与一类新颖性检测基准上的大量实验表明，我们的方法超越了 SOTA 性能，证明了所提方法的有效性与泛化能力。
引用
@article{arxiv.2201.10703,
title = {Anomaly Detection via Reverse Distillation from One-Class Embedding},
author = {Hanqiu Deng and Xingyu Li},
journal= {arXiv preprint arXiv:2201.10703},
year = {2022}
}
备注
10 pages, 7 figures