从架构视角重新审视 3D 异常检测的多模态融合
计算机视觉与模式识别
2024-12-24 v1
摘要
现有工作提升 3D 异常检测（3D-AD）的多模态融合主要集中于设计更有效的融合策略。然而，关于多模态融合架构（拓扑结构）在 3D-AD 中所起作用的分析仍鲜有关注。本文旨在弥合这一差距，系统研究多模态融合架构设计对 3D-AD 的影响。本工作从模块级融合角度考察，即独立的模态特定模块，涉及早期、中间或晚期融合特征的特定融合操作，同时也考察模块间融合层面，即融合这些模块的策略。在这两种情况下，我们首先通过理论和实验探索架构设计如何影响 3D-AD。随后，我们扩展最先进的神经网络架构搜索（NAS）范式，首次提出3D-ADNAS 同时搜索多模态融合策略和模态特定模块。大量实验表明，3D-ADNAS 在各种模型容量下在准确率、帧率和内存使用方面均获得一致改进，展现出处理少样本 3D-AD 任务的巨大潜力。
引用
@article{arxiv.2412.17297,
title = {Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective},
author = {Kaifang Long and Guoyang Xie and Lianbo Ma and Jiaqi Liu and Zhichao Lu},
journal= {arXiv preprint arXiv:2412.17297},
year = {2024}
}