基于远端可穿戴肌电图与计算机视觉的面部运动协同及动作单元检测
人机交互
2020-08-21 v1 计算机视觉与模式识别
图像与视频处理
摘要
远端面部肌电图（EMG）可用于以合理精度检测微笑和皱眉。它利用容积传导来检测相关肌肉活动，即使电极未直接放置在源肌肉上。该方法的主要优点是在允许EMG测量的同时防止面部表情产生的遮挡和阻碍。然而，远端测量EMG意味着面部运动的确切来源未知。我们提出一种从远端面部EMG和计算机视觉（CV）估计特定面部动作单元（AUs）的新方法。该方法基于独立成分分析（ICA）、非负矩阵分解（NNMF）以及对所得分量进行排序，以确定最可能与每个CV标记的动作单元（AU）相对应的分量。通过与人工资深编码员的一致性计算，估计了AU06（眼轮匝肌）和AU12（颧大肌）检测的性能。我们提出的算法结果显示，AU6的准确率为81%、Cohen's Kappa为0.49；AU12的准确率为82%、Cohen's Kappa为0.53。这证明了远端EMG检测个体面部运动的潜力。使用这种多模态方法，我们识别了若干AU协同。我们利用人工编码标签以及用于比较的连续CV标签，量化了在摆姿和自发微笑中AU6与AU12的共现和时间关系。共现分析也在基于EMG的标签上执行，以揭示肌肉协同与可见面部运动运动学之间的关系。
引用
@article{arxiv.2008.08791,
title = {Facial movement synergies and Action Unit detection from distal wearable Electromyography and Computer Vision},
author = {Monica Perusquia-Hernandez and Felix Dollack and Chun Kwang Tan and Shushi Namba and Saho Ayabe-Kanamura and Kenji Suzuki},
journal= {arXiv preprint arXiv:2008.08791},
year = {2020}
}
备注
11 pages, 11 figures, 2 tables