面向自闭症谱系障碍儿童的双阶段多模态情感分析框架
计算机视觉与模式识别
2021-06-18 v1 人机交互
多媒体
摘要
自闭症谱系障碍（ASD）是一种发育障碍，会影响个体的沟通和社交行为，使得谱系内人群难以感知他人的面部表情，也难以通过自身的面部和肢体呈现并传达情绪与情感。已有一些研究致力于在游戏治疗中预测并改善ASD儿童的情感状态，游戏治疗是一种通过游戏和活动提升儿童社交技能的常用方法。然而，许多以往工作仅使用了在基准情感数据集上预训练的模型，未能考虑典型发育儿童与自闭症儿童在情绪上的差异。本文提出一种开源的双阶段多模态方法，利用声学与视觉线索，在真实游戏治疗场景中预测ASD儿童的三种主要情感状态（积极、消极、中性），并取得了72.40%的总体准确率。本工作通过提出双阶段框架，提供了一种将人类专业知识与机器智能相结合用于ASD情感识别的新思路。
引用
@article{arxiv.2106.09199,
title = {A Two-stage Multi-modal Affect Analysis Framework for Children with Autism Spectrum Disorder},
author = {Jicheng Li and Anjana Bhat and Roghayeh Barmaki},
journal= {arXiv preprint arXiv:2106.09199},
year = {2021}
}
备注
8 pages including reference; 8 figures