SGANet:用于多模态多视角异常检测的语义与几何对齐
计算机视觉与模式识别
2026-04-08 v1
摘要
多视角异常检测旨在利用从多个视角捕获的观测来识别复杂物体表面的缺陷。然而,现有的无监督方法常常遭受由视角变化和模态差异引起的特征不一致性。为解决这些挑战,我们提出了语义与几何对齐网络(SGANet),一个用于多模态多视角异常检测的统一框架,有效结合语义和几何对齐,以学习跨视角和模态的物理一致特征表示。SGANet由三个关键组件组成。选择性跨视角特征细化模块(SCFRM)选择性地聚合来自相邻视角的信息性补丁特征,以增强跨视角特征交互。语义-结构补丁对齐(SSPA)在视角变换下强制跨模态语义对齐,同时保持结构一致性。多视角几何对齐(MVGA)进一步对齐跨视角的几何对应补丁。通过联合建模特征交互、语义和结构一致性以及全局几何对应,SGANet有效增强了多模态多视角设置下的异常检测性能。在SiM3D和Eyecandies数据集上的大量实验表明,SGANet在异常检测和定位方面均达到了最先进性能,验证了其在现实工业场景中的有效性。
引用
@article{arxiv.2604.05632,
title = {SGANet: Semantic and Geometric Alignment for Multimodal Multi-view Anomaly Detection},
author = {Letian Bai and Chengyu Tao and Juan Du},
journal= {arXiv preprint arXiv:2604.05632},
year = {2026}
}