Eyemotion：在 VR 中使用眼动追踪摄像头分类面部表情
计算机视觉与模式识别
2017-08-01 v2
摘要
虚拟现实环境中社交互动的主要挑战之一是头戴式显示器遮挡了面部的大部分区域，阻挡了面部表情，从而限制了用户之间的社交参与线索。因此，需要辅助手段来感知和传达这些表情。我们提出了一种算法，仅通过分析用户在虚拟现实体验中被部分遮挡的面部，即可自动推断表情。具体来说，我们展示了从 VR 头显内的红外视线追踪摄像头捕获的用户眼部图像，足以推断出选定的面部表情子集，而无需使用任何固定的外部摄像头。利用这些推断，我们可以实时生成动态化身，作为用户富有表现力的替代。我们提出了一种新颖的数据采集流程，以及一种通过个性化提高卷积神经网络准确率的新方法。我们的结果显示，在 5 种“情绪”表情中平均准确率为 74%（F1 值为 0.73），在 10 个不同的面部动作单元中平均准确率为 70%（F1 值为 0.68），优于人类评分者。
引用
@article{arxiv.1707.07204,
title = {Eyemotion: Classifying facial expressions in VR using eye-tracking cameras},
author = {Steven Hickson and Nick Dufour and Avneesh Sud and Vivek Kwatra and Irfan Essa},
journal= {arXiv preprint arXiv:1707.07204},
year = {2017}
}
备注
Uploaded Supplementary PDF. Fixed author affiliation. Corrected typo in personalization accuracy