CLIP3D-AD：基于多视角图像生成扩展 CLIP 的 3D 少样本异常检测
计算机视觉与模式识别
2024-06-28 v1
摘要
少样本异常检测方法可以有效解决工业场景中数据收集困难的问题。与 2D 少样本异常检测 (2D-FSAD) 相比，3D 少样本异常检测 (3D-FSAD) 仍是一个未被充分探索但至关重要的任务。本文提出 CLIP3D-AD，一种在 CLIP 上扩展的高效 3D-FSAD 方法。我们成功地将 CLIP 的强大泛化能力转移到 3D-FSAD 中。具体而言，我们合成给定正常图像上的异常图像作为样本对，以适配 CLIP 进行 3D 异常分类和分割。对于分类，我们引入图像适配器和文本适配器来微调全局视觉特征和文本特征。同时，我们提出粗到细解码器来融合和促进 CLIP 中中间多层视觉表示。为了利用点云的几何信息并消除 CLIP 处理时的模态和数据差异，我们将点云投影和渲染为多视角正常和异常图像。然后我们设计多视角融合模块来融合由 CLIP 提取的多视角图像特征，用于促进视觉表示，以进一步增强视觉-语言相关性。大量实验表明，我们的方法在 MVTec-3D AD 数据集上在 3D 少样本异常分类和分割方面表现具有竞争力。
引用
@article{arxiv.2406.18941,
title = {CLIP3D-AD: Extending CLIP for 3D Few-Shot Anomaly Detection with Multi-View Images Generation},
author = {Zuo Zuo and Jiahao Dong and Yao Wu and Yanyun Qu and Zongze Wu},
journal= {arXiv preprint arXiv:2406.18941},
year = {2024}
}
备注
10 pages, 7 figures