鲁棒模态缺失异常检测：基于模态指示框架的基准
计算机视觉与模式识别
2025-10-28 v2 多媒体
摘要
多模态工业异常检测（MIAD）利用 3D 点云和 2D RGB 图像来识别产品中的异常区域，在工业质检中发挥着关键作用。然而，传统的 MIAD 设置假设所有 2D 和 3D 模态都成对存在，忽略了现实世界收集的多模态数据常因缺失模态而不完整的事实。此外，基于模态缺失数据训练的模型容易过拟合。因此，具备对模态缺失数据鲁棒性的 MIAD 模型在实际应用中极具需求。为此，我们提出了首个系统性研究模态缺失工业异常检测（MIIAD）的工作，在专家指导下构建了 MIIAD 基准，涵盖丰富的模态缺失设置，以因不完整多模态信息而导致的学习环境。如预期，我们发现大多数现有 MIAD 方法在 MIIAD 基准上表现不佳，性能显著下降。为应对这一挑战，我们提出一种新型两阶段鲁棒模态感知融合检测框架，简称 RADAR。具体包括：i）提出模态缺失指令引导多模态 Transformer 对各类模态缺失场景实现稳健适应，并基于 HyperNetwork 实现自适应参数学习。ii）构建双伪混合模块以凸显模态组合的独特性，缓解过拟合问题，进一步提升 MIIAD 模型的鲁棒性。我们的实验结果表明，所提出的 RADAR 在新创建的 MIIAD 数据集上显著优于传统 MIAD 方法，证明其实际应用价值。
关键词
引用
@article{arxiv.2410.01737,
title = {Robust Modality-incomplete Anomaly Detection: A Modality-instructive Framework with Benchmark},
author = {Bingchen Miao and Wenqiao Zhang and Juncheng Li and Wangyu Wu and Siliang Tang and Zhaocheng Li and Haochen Shi and Jun Xiao and Yueting Zhuang},
journal= {arXiv preprint arXiv:2410.01737},
year = {2025}
}