Transformaly——两个（特征空间）优于一个

异常检测是一个成熟的研究领域，旨在识别预定分布之外的样本。异常检测流程由两个主要阶段组成：（1）特征提取和（2）正常度评分分配。最近的论文使用预训练网络进行特征提取，取得了最先进的结果。然而，使用预训练网络并未充分利用训练时可用的正常样本。本文建议通过使用教师-学生训练来利用这些信息。在我们的设置中，使用预训练的教师网络在正常训练样本上训练学生网络。由于学生网络仅在正常样本上训练，预期在异常情况下会偏离教师网络。这种差异可以作为预训练特征向量的补充表示。我们的方法——Transformaly——利用预训练的Vision Transformer（ViT）来提取两种特征向量：预训练的（任务无关的）特征和教师-学生（微调的）特征。我们在常见的单模态设置（其中一个类被视为正常，其余类被视为异常）和多模态设置（其中除一个类外所有类都被视为正常，仅一个类被视为异常）中均报告了最先进的AUROC结果。代码可在https://github.com/MatanCohen1/Transformaly获取。