移动摄像头与少样本下的活动识别：用于检测自闭症相关撞头行为
计算机视觉与模式识别
2021-01-12 v1 人机交互
摘要
活动识别计算机视觉算法可用于检测自闭症相关行为的存在，包括诊断工具所称的“受限与重复行为”或刺激行为（stimming）。该领域现有的有限数据通常使用手持摄像头录制，摄像头可能晃动甚至移动，这对传统的活动检测特征表示方法提出了挑战，后者会错误地将摄像头运动捕获为特征。为解决这些问题，我们首先记录了当前活动识别特征表示技术在撞头检测应用中的优势与局限。然后，我们提出了一种仅由头部姿态关键点组成的特征表示。我们使用时间分布卷积神经网络（CNN）创建了用于在家用视频中检测撞头的计算机视觉分类器，其中单个CNN从输入序列的每一帧提取特征，这些提取的特征作为长短期记忆（LSTM）网络的输入。在来自自我刺激行为数据集（SSBD）的视频中预测撞头与非撞头的二分类任务上，通过确保所有折中训练集出现的儿童都不在测试集中，我们使用3折交叉验证达到了90.77%的平均F1分数（各折F1分数分别为83.3%、89.0%和100.0%）。本工作记录了一种成功的计算机视觉分类器训练技术，该技术能在少训练样本甚至源片段录制摄像头不稳定的情况下检测人体运动。此处描述的通用方法可由交互系统的设计者和开发者应用于移动与普适交互系统中使用的其他人体运动与姿态分类问题。
引用
@article{arxiv.2101.03478,
title = {Activity Recognition with Moving Cameras and Few Training Examples: Applications for Detection of Autism-Related Headbanging},
author = {Peter Washington and Aaron Kline and Onur Cezmi Mutlu and Emilie Leblanc and Cathy Hou and Nate Stockham and Kelley Paskov and Brianna Chrisman and Dennis P. Wall},
journal= {arXiv preprint arXiv:2101.03478},
year = {2021}
}