面向不确定传感器可用性的韧性多模态工业表面缺陷检测
计算机视觉与模式识别
2025-09-18 v1
摘要
多模态工业表面缺陷检测（MISDD）旨在通过融合 RGB 和 3D 两种模态来识别和定位工业产品中的缺陷。本文聚焦于因传感器可用性不确定而导致的模态缺失问题。在此情境下，多模态融合面临若干挑战，包括学习模式转换和信息空洞。为此，我们首先提出跨模态提示学习，包括：i) 跨模态一致性提示用于建立双模态视觉模态的信息一致性；ii) 模态特定提示用于适应不同输入模式；iii) 缺失感知提示用于补偿动态模态缺失导致的信息空洞。此外，我们提出对称对比学习，利用文本模态作为双视觉模态融合的桥梁。具体而言，设计了成对对立的文本提示以生成二进制文本语义，并提供三模态对比预训练以完成多模态学习。实验结果表明，在 RGB 和 3D 模态总缺失率为 0.7 时，我们的方法实现了 73.83%的 I-AUROC 和 93.05%的 P-AUROC（分别超过最新方法 3.84% 和 5.58%），并在不同缺失类型和率下均优于现有方法。源代码将在 https://github.com/SvyJ/MISDD-MM 公开。
引用
@article{arxiv.2509.02962,
title = {Resilient Multimodal Industrial Surface Defect Detection with Uncertain Sensors Availability},
author = {Shuai Jiang and Yunfeng Ma and Jingyu Zhou and Yuan Bian and Yaonan Wang and Min Liu},
journal= {arXiv preprint arXiv:2509.02962},
year = {2025}
}
备注
Accepted to IEEE/ASME Transactions on Mechatronics