基于多模态去噪的 RGB-3D 噪声抗工业异常检测 M3DM-NR
计算机视觉与模式识别
2024-06-05 v1
摘要
现有工业异常检测方法主要集中于使用原始RGB图像的无监督学习。然而，RGB和3D数据对异常检测都至关重要，而数据集几乎不可能完全干净。为此，本文最初深入研究RGB-3D多模态噪声异常检测，提出一种新型噪声抗M3DM-NR框架以利用CLIP的强大多模态判别能力。M3DM-NR包含三个阶段：第一阶段引入可疑参考选择模块，从训练数据集中筛选出少量正常样本，利用初始特征提取和可疑异常图计算模块生成可疑异常图以聚焦异常区域作为参考。第二阶段将参考样本的可疑异常图作为参考，输入图像、点云和文本信息，通过 intra-modal 比较和多尺度聚合操作对训练样本进行去噪。最后，第三阶段提出点特征对齐、无监督特征融合、噪声判别核心集选择和决策层融合模块，以学习训练数据集的模式，实现异常检测和分割，同时过滤噪声。大量实验表明，M3DM-NR 在3D-RGB多模态噪声异常检测方面超越了最先进的方法。
引用
@article{arxiv.2406.02263,
title = {M3DM-NR: RGB-3D Noisy-Resistant Industrial Anomaly Detection via Multimodal Denoising},
author = {Chengjie Wang and Haokun Zhu and Jinlong Peng and Yue Wang and Ran Yi and Yunsheng Wu and Lizhuang Ma and Jiangning Zhang},
journal= {arXiv preprint arXiv:2406.02263},
year = {2024}
}