面向婴儿全身运动分析的弱监督在线动作检测
计算机视觉与模式识别
2022-08-09 v1 人工智能
图像与视频处理
摘要
为了实现对婴儿脑瘫（CP）的早期医学干预，脑损伤的早期诊断至关重要。尽管全身运动评估（GMA）在早期脑瘫检测中已显示出良好前景，但其过程费力。现有大多数工作以视频作为输入，进行不安运动（FMs）分类以实现GMA自动化。这些方法需要完整观测视频，且无法定位包含正常FMs的视频帧。因此，我们提出一种名为WO-GMA的新方法，在弱监督在线设定下执行FMs定位。首先提取婴儿身体关键点作为WO-GMA的输入。随后WO-GMA执行局部时空特征提取，并通过两个网络分支生成伪片段标签和建模在线动作。利用片段级伪标签，动作建模分支以在线方式学习检测FMs。在一个包含757个不同婴儿视频的数据集上的实验结果表明，WO-GMA能够获得最先进的视频级分类和片段级检测结果。此外，仅需视频前20%的时长即可获得与完整观测相当的分类结果，意味着FMs诊断时间显著缩短。代码见：https://github.com/scofiedluo/WO-GMA。
引用
@article{arxiv.2208.03648,
title = {Weakly Supervised Online Action Detection for Infant General Movements},
author = {Tongyi Luo and Jia Xiao and Chuncao Zhang and Siheng Chen and Yuan Tian and Guangjun Yu and Kang Dang and Xiaowei Ding},
journal= {arXiv preprint arXiv:2208.03648},
year = {2022}
}
备注
MICCAI 2022