基于点时空自编码器的点云视频异常检测
计算机视觉与模式识别
2023-06-08 v1 信号处理
摘要
视频异常检测在关键区域生产与监控的安全保障方面具有巨大潜力。目前大多数视频异常检测方法基于 RGB 模态，但其冗余的语义信息可能泄露居民或患者的隐私。深度相机与激光雷达获取的 3D 数据能够在保护人体姿态与运动信息的同时，精准定位三维空间中的异常事件。由于点云的稀疏性，难以从中识别个体，从而保护了个人隐私。在本研究中，我们提出点时空自编码器 (PSTAE)，一种以点点云视频为输入来检测点云视频中异常的自编码器框架。我们引入 PSTOp 与 PSTTransOp 以在点云视频中保持空间几何与时间运动信息。为度量所提自编码器框架的重建损失，我们提出一种基于浅层特征提取器的重建损失度量策略。在 TIMo 数据集上的实验结果表明，我们的方法在 AUROC 方面优于当前具代表性的基于深度模态的方法，并在检测医疗问题异常方面具有优越性能。这些结果揭示了点云模态在视频异常检测中的潜力。我们的方法在 TIMo 数据集上确立了新的 state-of-the-art (SOTA)。
引用
@article{arxiv.2306.04466,
title = {Point Cloud Video Anomaly Detection Based on Point Spatio-Temporal Auto-Encoder},
author = {Tengjiao He and Wenguang Wang},
journal= {arXiv preprint arXiv:2306.04466},
year = {2023}
}