微调逆蒸馏：通过跨模态调谐器提升多模态工业异常检测性能
计算机视觉与模式识别
2025-07-28 v3
摘要
知识蒸馏（KD）在无监督图像异常检测中得到广泛研究，但其在无监督多模态异常检测中的应用仍鲜有探索。现有基于KD的多模态异常检测方法使用融合后的多模态特征获取教师表示，面临挑战：仅存在于单一模态的异常可能无法在融合后的教师特征中有效捕获，导致检测失败。此外，这些方法未充分利用关键的异常检测所需的丰富的模内及模间信息。本文提出一种基于多分支设计的调谐逆蒸馏（Tuned Reverse Distillation, TRD），实现多模态工业异常检测。通过为每个模态分配独立分支，本方法实现了对每个模态中异常的更精细检测。进一步，通过设计两个跨模态调谐器（包括跨模态滤波器和放大器）来增强蒸馏过程中模态之间的相互作用。基于跨模态映射的思想，学生网络能够更好地学习正常特征，同时确保所有模态的异常均被有效检测。在多模态异常检测数据集上的实验验证表明，我们的方法在多模态异常检测与定位方面实现了业界最佳性能。代码已公开于 https://github.com/hito2448/TRD。
引用
@article{arxiv.2412.08949,
title = {Tuned Reverse Distillation: Enhancing Multimodal Industrial Anomaly Detection with Crossmodal Tuners},
author = {Xinyue Liu and Jianyuan Wang and Biao Leng and Shuo Zhang},
journal= {arXiv preprint arXiv:2412.08949},
year = {2025}
}