面向 2D-3D 多模态工业异常检测的跨模态映射与双分支重构
计算机视觉与模式识别
2026-03-05 v1 人工智能
摘要
多模态工业异常检测通过整合 RGB 外观与 3D 表面几何实现优势，但现有方法常依赖内存库、教师-学生架构或脆弱的融合方案，在深度噪声、纹理弱或模态缺失情况下受限于鲁棒性。本文引入 CMDR-IAD，一个轻量级且模态灵活的无监督框架，用于可靠地在 2D+3D 多模态以及单模态 (2D 单模态或 3D 单模态) 场景下进行异常检测。CMDR-IAD 结合双向 2D↔3D 跨模态映射以建模外观-几何一致性，并采用双分支重构独立捕获正常纹理和几何结构。一种两部分融合策略整合了这些线索：可靠性门控映射异常突出显示空间上一致的纹理-几何偏差，而置信度加权重构异常自适应平衡外观和几何偏差，实现即使在深度稀疏或低纹理区域也能稳定且精确的异常定位。在 MVTec 3D-AD 挑战赛基准上，CMDR-IAD 在无内存库的情况下实现了最先进的性能，分别达到 97.3% 图像级 AUROC (I-AUROC)、99.6% 像素级 AUROC (P-AUROC) 和 97.6% AUPRO。在一个真实世界的聚氨酯切割数据集上，3D 单模态变体实现了 92.6% I-AUROC 和 92.5% P-AUROC，展示了在实际工业条件下的强大效果。这些结果凸显了该框架的鲁棒性、模态灵活性以及针对工业视觉检查的有效融合策略。我们的源代码可在 https://github.com/ECGAI-Research/CMDR-IAD/ 获取。
引用
@article{arxiv.2603.03939,
title = {Cross-Modal Mapping and Dual-Branch Reconstruction for 2D-3D Multimodal Industrial Anomaly Detection},
author = {Radia Daci and Vito Renò and Cosimo Patruno and Angelo Cardellicchio and Abdelmalik Taleb-Ahmed and Marco Leo and Cosimo Distante},
journal= {arXiv preprint arXiv:2603.03939},
year = {2026}
}