中文

PointAD:用于零样态3D异常检测从点和像素中理解3D异常

计算机视觉与模式识别 2024-12-24 v4 计算与语言

摘要

零样态(ZS)3D异常检测是一个至今未被充分探索的关键领域,旨在解决由于隐私保护等实际原因,目标3D训练样本不可用的场景。本文引入PointAD,一种新颖方法,利用CLIP在未见对象上识别3D异常的强大泛化能力。PointAD提供了一个统一框架来理解来自点和像素的3D异常。在该框架中,PointAD将3D异常渲染为多个2D视图,并将其投影回3D空间。为捕获通用异常语义,本文提出了混合表示学习,通过辅助点云优化联合的3D和2D文本提示。点和像素表示之间的协作优化有助于我们的模型把握底层3D异常模式,促进对未见异构3D对象的异常检测与分割。通过3D和2D空间的对齐,模型可直接集成RGB信息,进一步以即插即用的方式增强对3D异常的理解。大量实验表明,PointAD在零样态3D异常检测中优于现有方法,能够处理多种未见对象。

关键词

引用

@article{arxiv.2410.00320,
  title  = {PointAD: Comprehending 3D Anomalies from Points and Pixels for Zero-shot 3D Anomaly Detection},
  author = {Qihang Zhou and Jiangtao Yan and Shibo He and Wenchao Meng and Jiming Chen},
  journal= {arXiv preprint arXiv:2410.00320},
  year   = {2024}
}

备注

NeurIPS 2024