多模态实时异常检测及工业应用
声音
2025-11-25 v1 人工智能
计算机视觉与模式识别
机器学习
多媒体
摘要
本文提出了综合性的多模态房间监测系统的设计、实现与演进，该系统集成同步视频与音频处理，实现实时活动识别与异常检测。我们描述了系统的两个迭代版本：初始轻量级实现采用 YOLOv8、ByteTrack 与 Audio Spectrogram Transformer（AST），以及融合多模型音频集成、混合目标检测、双向跨模态注意力与多方法异常检测的高级版本。演进过程显著提升了准确率、鲁健性及工业适用性。高级系统结合三种音频模型（AST、Wav2Vec2 与 HuBERT）进行全面音频理解，采用双目标检测器（YOLO 与 DETR）提升检测精度，并运用精妙的融合机制增强跨模态学习。实验评估表明，该系统在一般监控场景及专门工业安全应用中均有效，同时在标准硬件上实现实时性能且保持高准确率。
引用
@article{arxiv.2511.18698,
title = {Multimodal Real-Time Anomaly Detection and Industrial Applications},
author = {Aman Verma and Keshav Samdani and Mohd. Samiuddin Shafi},
journal= {arXiv preprint arXiv:2511.18698},
year = {2025}
}