VSViG：基于骨架时空图神经网络的实时视频癫痫发作检测
计算机视觉与模式识别
2024-07-09 v2
摘要
准确且高效的癫痫发作起始检测可使患者显著受益。传统诊断方法主要依赖脑电图（EEG），常导致笨重且不便携的方案，使患者的持续监测颇具挑战。基于视频的癫痫发作检测系统有望使患者摆脱头皮或植入式 EEG 设备的束缚，并在家庭环境中实现远程监测。以往的视频方法因资源不足及患者动作识别技术低效，既无法实现全天监测，也无法提供短的检测延迟。此外，基于骨架的动作识别方法在识别细微的癫痫相关动作方面仍存在局限。为应对这些挑战，我们提出了一种新颖的基于视频的癫痫发作检测模型，通过基于骨架的时空视觉图神经网络（VSViG），以在实时场景中实现高效、准确且及时的目的。我们的实验结果表明，在我们收集的患者视频数据上，VSViG 优于以往的 SOTA 动作识别模型，具有更高的准确率（5.9% 误差）、更低的 FLOPs（0.4G）和更小的模型尺寸（1.4M）。此外，通过集成结合输出概率与累积函数的决策规则，我们实现了 EEG 起始后 5.1 s 的检测延迟、临床发作前 13.1 s 的检测提前量，以及零误检率。项目主页位于：https://github.com/xuyankun/VSViG/
引用
@article{arxiv.2311.14775,
title = {VSViG: Real-time Video-based Seizure Detection via Skeleton-based Spatiotemporal ViG},
author = {Yankun Xu and Junzhe Wang and Yun-Hsuan Chen and Jie Yang and Wenjie Ming and Shuang Wang and Mohamad Sawan},
journal= {arXiv preprint arXiv:2311.14775},
year = {2024}
}
备注
Accepted by ECCV2024