AEGIS：一种基于实时多模态增强现实计算机视觉、辅助自闭症谱系障碍个体面部表情识别的系统
计算机视觉与模式识别
2020-10-23 v1 人机交互
摘要
对大多数人而言，解读社交线索的能力与生俱来，但对于患有自闭症谱系障碍（ASD）的人群，部分人在此方面存在缺陷。本文介绍一种多模态增强现实（AR）系统的开发，其结合计算机视觉与深度卷积神经网络（CNN）的使用，以辅助个体在社交场景中检测与解读面部表情。我们所提出的系统称为 AEGIS（增强现实表情引导解读系统），是一种可部署于多种用户设备（包括平板电脑、智能手机、视频会议系统或智能眼镜）的辅助技术，展现出极高的灵活性与广泛的使用场景，可轻松融入日常生活。给定流式视频相机源，每一真实世界帧被传入 AEGIS，进行人脸边界框处理，随后送入我们新颖的深度卷积时间窗神经网络（TimeConvNet）。我们利用空间与时间信息以提供准确的表情预测，再将其转换为相应可视化并绘制于原始视频帧之上。该系统实时运行，所需设置极少且易于使用。借助 AEGIS，我们可辅助 ASD 患者学习更好地识别表情，从而改善其社交体验。
引用
@article{arxiv.2010.11884,
title = {AEGIS: A real-time multimodal augmented reality computer vision based system to assist facial expression recognition for individuals with autism spectrum disorder},
author = {James Ren Hou Lee and Alexander Wong},
journal= {arXiv preprint arXiv:2010.11884},
year = {2020}
}
备注
4 pages, 1 figure