基于多模态数据集成与对抗防御的无监督监控异常检测
图像与视频处理
2020-07-22 v1 计算机视觉与模式识别
摘要
使用无人机视频的自主空中监视是一个有趣且具有挑战性的研究领域。为了确保免受入侵者和可能对受保护区域构成威胁的潜在物体的安全，实时区分正常和异常状态至关重要。此外，我们还需要考虑任何设备故障。然而，异常类型和程度中固有的不确定性使得监督技术不太适用，因为对手可能呈现独特的入侵异常。因此，考虑到攻击的不可预测性，无监督的异常检测方法更可取。同样，在我们的案例中，自主无人机提供异构数据流，包括图像和其他模拟或数字传感器数据，如果它们协同集成，所有这些都可以在异常检测中发挥作用。为此，本文提出了一种集成检测机制，该机制通过无监督方式分析实时图像和IMU（惯性测量单元）传感器数据来估计异常程度。首先，我们实现了一个卷积神经网络（CNN）回归块，命名为AngleNet，用于估计参考图像和当前测试图像之间的角度，这为我们提供了设备异常的度量。此外，IMU数据用于自编码器以预测异常。最后，这两个管道的结果被集成以估计最终的异常程度。此外，我们应用了对抗攻击来测试所提出方法的鲁棒性和安全性，并集成了防御机制。所提出的方法在IEEE SP Cup-2020数据集上表现令人满意，准确率为97.8%。此外，我们还在内部数据集上测试了该方法以验证其鲁棒性。
引用
@article{arxiv.2007.10812,
title = {Anomaly Detection in Unsupervised Surveillance Setting Using Ensemble of Multimodal Data with Adversarial Defense},
author = {Sayeed Shafayet Chowdhury and Kaji Mejbaul Islam and Rouhan Noor},
journal= {arXiv preprint arXiv:2007.10812},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:2006.03733