基于视觉的孤独症相关行为儿童活动识别
计算机视觉与模式识别
2024-03-06 v1 机器学习
摘要
机器学习和非接触式传感器的进步使得在医疗环境中理解复杂人类行为成为可能。特别是，已引入若干深度学习系统以对神经发育状况如孤独症谱系障碍(ASD)进行全面分析。该状况从儿童早期发育阶段开始影响儿童，诊断完全依赖于观察儿童行为并检测行为线索。然而，诊断过程耗时，因为需要长期行为观察，且专科医生稀缺。我们展示了基于区域的计算机视觉系统的效果，以帮助临床医生和父母分析儿童行为。为此，我们采用并增强了一个用于分析孤独症相关动作的数据集，该数据集使用在非受控环境中捕获的儿童视频(例如用消费级相机在各种环境中收集的视频)。数据通过检测视频中的目标儿童进行预处理，以减少背景噪声的影响。受时间卷积模型有效性的启发，我们提出了轻量级和传统两种模型，能够从视频帧中提取动作特征，并通过分析视频中帧间关系对孤独症相关行为进行分类。通过对特征提取和学习策略的广泛评估，我们证明最佳性能由Inflated 3D Convnet和多阶段时间卷积网络(Multi-Stage Temporal Convolutional Networks)实现，对三类孤独症相关动作的分类取得了0.83的加权F1分数，优于现有方法。我们还通过在相同系统中采用ESNet骨干网提出了轻量级解决方案，取得了0.71加权F1分数的竞争力结果，并支持在嵌入式系统上的潜在部署。
引用
@article{arxiv.2208.04206,
title = {Vision-Based Activity Recognition in Children with Autism-Related Behaviors},
author = {Pengbo Wei and David Ahmedt-Aristizabal and Harshala Gammulle and Simon Denman and Mohammad Ali Armin},
journal= {arXiv preprint arXiv:2208.04206},
year = {2024}
}