基于混合融合的多模态工业异常检测
计算机视觉与模式识别
2023-09-08 v2
摘要
基于 2D 的工业异常检测已被广泛讨论，然而基于 3D 点云与 RGB 图像的多模态工业异常检测仍有许多未触及的领域。现有的多模态工业异常检测方法直接拼接多模态特征，导致特征间强干扰并损害检测性能。本文中，我们提出 Multi-3D-Memory（M3DM），一种具有混合融合方案的新型多模态异常检测方法：首先，我们设计了一种基于块对比学习的无监督特征融合以鼓励不同模态特征间的交互；其次，我们使用带有多个记忆库的决策层融合以避免信息丢失，并辅以额外的新颖性分类器做出最终决策。我们进一步提出点特征对齐操作以更好地对齐点云与 RGB 特征。大量实验表明，我们的多模态工业异常检测模型在 MVTec-3D AD 数据集上的检测与分割精度均优于最先进（SOTA）方法。代码见 https://github.com/nomewang/M3DM。
引用
@article{arxiv.2303.00601,
title = {Multimodal Industrial Anomaly Detection via Hybrid Fusion},
author = {Yue Wang and Jinlong Peng and Jiangning Zhang and Ran Yi and Yabiao Wang and Chengjie Wang},
journal= {arXiv preprint arXiv:2303.00601},
year = {2023}
}
备注
Accepted by CVPR 2023