基于时空注意力的视频婴儿动作评估模型
计算机视觉与模式识别
2021-05-21 v1 机器学习
摘要
关节或肢体缺乏或出现异常烦躁动作强烈提示婴儿患有脑瘫。开发基于计算机的视频婴儿动作评估方法对于改进脑瘫筛查至关重要。现有多数方法使用基于外观的特征，因此易受背景杂波或移动相机引起的强但无关信号干扰。此外，这些特征在整个帧上计算，故测量的是整体全身运动而非特定关节/肢体运动。针对这些挑战，我们开发并验证了一种利用从短视频片段提取的人体姿态，从消费级视频评估烦躁动作的新方法。人体姿态仅捕获关节和肢体的相关运动轮廓，因此不受无关外观伪影影响。关节间的动力学与协调关系通过时空图卷积网络建模。包含烦躁动作判别信息的帧与身体部位通过时空注意力机制筛选。我们使用通过澳大利亚脑瘫联盟在一家澳大利亚医院收集的真实消费级视频数据集，在脑瘫筛查任务上验证了所提模型。实验表明，所提方法取得 81.87% 的 ROC-AUC 分数，显著优于现有竞争方法且具更好可解释性。
引用
@article{arxiv.2105.09783,
title = {A Spatio-temporal Attention-based Model for Infant Movement Assessment from Videos},
author = {Binh Nguyen-Thai and Vuong Le and Catherine Morgan and Nadia Badawi and Truyen Tran and Svetha Venkatesh},
journal= {arXiv preprint arXiv:2105.09783},
year = {2021}
}
备注
Accepted by IEEE Journal of Biomedical and Health Informatics (JBHI)