语言辅助深度学习用于孤独症行为识别
计算机视觉与模式识别
2024-01-08 v3
摘要
正确识别孤独症谱系障碍（ASD）儿童的行为，对孤独症诊断与及时早期干预至关重要。然而，孤独症儿童父母在治疗期间的观察与记录可能不够准确与客观。在此情况下，基于计算机视觉与机器学习（特别是深度学习）技术的自动识别系统可在很大程度上缓解该问题。现有人体动作识别模型已在具挑战性的活动数据集（如日常活动与体育活动）上取得令人信服的性能。然而，ASD 儿童的异常行为不同于这些一般活动，且通过计算机视觉识别此类异常行为的研究较少。本文中，我们首先在两个孤独症行为数据集（SSBD 与 ESBD）上评估了一个强动作识别基线，即 Video Swin Transformer，结果表明其可达到高准确率并以较大优势超越先前方法，证明了基于视觉的异常行为识别的可行性。此外，我们提出语言辅助训练以进一步提升动作识别性能。具体而言，我们通过融入每类异常行为“免费可用”的语言描述，开发了一个双分支多模态深度学习框架。实验结果表明，与使用仅视频信息相比，融入额外语言监督可为孤独症异常行为识别任务带来明显性能提升（即在 ESBD 上提升 3.49%，在 SSBD 上提升 1.46%）。
引用
@article{arxiv.2211.09310,
title = {Language-Assisted Deep Learning for Autistic Behaviors Recognition},
author = {Andong Deng and Taojiannan Yang and Chen Chen and Qian Chen and Leslie Neely and Sakiko Oyama},
journal= {arXiv preprint arXiv:2211.09310},
year = {2024}
}
备注
Smart Health Journal