具有动态面部动作编码表情的可定制化身 (CADyFACE) 以提升用户参与度
人机交互
2024-03-13 v1 计算机视觉与模式识别
机器学习
摘要
可定制的基于 3D 化身的面部表情刺激可能会改善自闭症、阿尔茨海默病、面瘫等疾病的行为生物标志物发现和治疗干预中的用户参与度。然而，目前缺乏带有面部动作编码系统 (FACS) 动作单元 (AU) 标签的可定制基于化身的刺激。因此，本研究侧重于：(1) 带有 FACS 标签的可定制基于化身的表情刺激，以维持受试者的参与度；(2) 量化受试者对此类刺激的面部反应的基于学习的测量方法；以及 (3) 验证由刺激 - 测量对所代表的构念。我们提出了带有认证 FACS 专家标注的 AU 的可定制动态面部动作编码表情化身 (CADyFACE)。为了测量受试者对 CADyFACE 反应的 AU，我们提出了一种用于多标签 AU 检测的新型 Beta 引导相关性和多任务表情学习神经网络 (BeCoME-Net)。Beta 引导相关性损失鼓励特征与 AU 的相关性，同时抑制与受试者身份的相关性，以提高泛化能力。我们训练 BeCoME-Net 进行单侧和双侧 AU 检测，并与最先进的方法进行比较。为了评估 CADyFACE 和 BeCoME-Net 的构念效度，二十名健康成年志愿者在线可行性研究中完成了表情识别和模仿任务，同时收集了基于网络摄像头的眼动追踪和视频数据。我们测试了多个构念的有效性，包括识别过程中的面部偏好和模仿过程中的 AU。
引用
@article{arxiv.2403.07314,
title = {Customizable Avatars with Dynamic Facial Action Coded Expressions (CADyFACE) for Improved User Engagement},
author = {Megan A. Witherow and Crystal Butler and Winston J. Shields and Furkan Ilgin and Norou Diawara and Janice Keener and John W. Harrington and Khan M. Iftekharuddin},
journal= {arXiv preprint arXiv:2403.07314},
year = {2024}
}
备注
12 pages, 8 figures