用于无监督异常检测的双学生知识蒸馏网络
计算机视觉与模式识别
2024-02-02 v1 人工智能
摘要
由于数据不平衡和缺陷的多样性，师生网络 (S-T) 在无监督异常检测中备受青睐，它探索源自知识蒸馏过程的特征表示差异来识别异常。然而，原始的S-T网络并不稳定。采用相同结构构建S-T网络可能会削弱异常上的表示差异。但使用不同结构会增加在正常数据上表现发散的可能性。为了解决这个问题，我们提出了一种新颖的双学生知识蒸馏 (DSKD) 架构。与其他S-T网络不同，我们使用两个学生网络和一个预训练的教师网络，其中学生网络具有相同的规模但结构反转。该框架可以增强蒸馏效果以提高正常数据识别的一致性，同时为异常表示引入多样性。为了探索高维语义信息以捕获异常线索，我们采用了两种策略。首先，使用金字塔匹配模式在网络中间层的多尺度特征图上进行知识蒸馏。其次，通过受现实世界小组讨论启发的深度特征嵌入模块，促进两个学生网络之间的交互。在分类方面，我们通过测量教师和学生网络输出特征图之间的差异，获得逐像素的异常分割图，并由此计算出用于样本级判定的异常分数。我们在三个基准数据集上评估了DSKD，并通过消融实验探究了内部模块的效果。结果表明，DSKD能够在ResNet18等小模型上取得卓越性能，并有效改进原始的S-T网络。
引用
@article{arxiv.2402.00448,
title = {Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly Detection},
author = {Liyi Yao and Shaobing Gao},
journal= {arXiv preprint arXiv:2402.00448},
year = {2024}
}