多视觉模态跌倒检测数据集
计算机视觉与模式识别
2022-06-28 v1
摘要
跌倒是全球老年人伤害相关死亡的主因之一。有效检测跌倒可降低并发症与受伤风险。跌倒检测可使用可穿戴设备或环境传感器；这些方法可能受用户依从性或误报问题困扰。摄像机提供了一种被动替代方案；然而常规 RGB 摄像机受光照变化与隐私问题影响。从机器学习视角，开发有效的跌倒检测系统颇具挑战，因为跌倒稀少且多变。许多现有跌倒检测数据集缺乏重要的现实考量，如多变光照、连续日常活动（ADLs）与摄像机布置。这些考量的缺失使开发能于真实世界有效运行的预测模型变得困难。为弥补这些局限，我们引入一新颖多模态数据集（MUVIM），含四种视觉模态：红外、深度、RGB 与热成像摄像机。这些模态带来如遮蔽面部特征与低光下性能提升等益处。我们将跌倒检测构为异常检测问题，仅用 ADLs 训练一定制时空卷积自编码器，使跌倒会增大重建误差。结果显示红外摄像机性能最高（AUC ROC=0.94），其后为热成像（AUC ROC=0.87）、深度（AUC ROC=0.86）与 RGB（AUC ROC=0.83）。本研究提供了在家居环境中分析摄像机模态检测跌倒效用的独特机会，同时兼顾性能、被动性与隐私。
引用
@article{arxiv.2206.12740,
title = {Multi Visual Modality Fall Detection Dataset},
author = {Stefan Denkovski and Shehroz S. Khan and Brandon Malamis and Sae Young Moon and Bing Ye and Alex Mihailidis},
journal= {arXiv preprint arXiv:2206.12740},
year = {2022}
}