面向自闭症儿童NAO机器人中情感识别的混合深度学习框架
计算机视觉与模式识别
2025-12-16 v1 机器人学
摘要
理解自闭症谱系障碍(ASD)儿童在社交互动期间的情感反应，是发展心理学和人机交互中的关键挑战。本研究提出一种用于情感识别的新型深度学习管道，通过人oid机器人NAO进行名称呼唤事件。实验在受控环境下进行。数据集包含约50,000个从15名ASD儿童视频中提取的面部帧。采用微调ResNet-50基准的卷积神经网络(CNN)与三层图卷积网络(GCN)组合，分别基于从MediaPipe FaceMesh地标中提取的视觉特征和几何特征进行训练。情感通过DeepFace和FER两种模型的加权集成以软标签方式标记。最终分类采用KL散度优化的融合嵌入。该方法在建模ASD儿童细微情感反应方面表现稳健，为临床和治疗性人机交互中的情感轮廓提供了显著前景，该管道有效捕捉神经发展障碍儿童的微情感线索，填补了自闭症特定HRI研究中的重大空白。本工作是来自印度在自闭症聚焦情感分析中首个大规模真实数据集和管道，为未来个性化辅助技术提供了必不可少的基础。
引用
@article{arxiv.2512.12208,
title = {A Hybrid Deep Learning Framework for Emotion Recognition in Children with Autism During NAO Robot-Mediated Interaction},
author = {Indranil Bhattacharjee and Vartika Narayani Srinet and Anirudha Bhattacharjee and Braj Bhushan and Bishakh Bhattacharya},
journal= {arXiv preprint arXiv:2512.12208},
year = {2025}
}
备注
12 pages, journal paper