使用关键点跟踪的无监督学习数据驱动面部表情编码系统
计算机视觉与模式识别
2024-06-11 v1 人机交互
摘要
现有面部编码系统（如面部动作编码系统）的开发依赖于对面部表情视频的手动检查来定义动作单元。为克服这一劳动密集型过程，我们提出通过利用基于计算机视觉的面部关键点跟踪来无监督学习一个自动化的面部编码系统。在这个名为数据驱动面部表情编码系统的新颖面部编码系统中，通过提出的全脸模型对来自中性帧的面部关键点运动进行降维来估计AU。FFM采用两级分解，使用先进的降维技术，如字典学习和非负矩阵分解。这些技术通过向编码矩阵引入稀疏性和非负性等约束来增强AU的可解释性。结果表明，从DISFA数据集估计的DFECS AU可以解释测试数据集（CK+和BP4D-Spontaneous）中平均高达91.29%的方差，并且在这些数据集中也超过了基于关键点的FACS AU等效物所解释的方差。此外，87.5%的DFECS AU是可解释的，即与面部肌肉运动方向一致。总之，自动化面部编码系统的进步可以加速安全、医疗保健和娱乐等不同领域的面部表情分析。这些进步带来了诸多好处，包括增强异常行为检测、改善医疗环境中的疼痛分析以及丰富情感驱动的交互。为促进进一步研究，DFECS的代码库已公开。
引用
@article{arxiv.2406.05434,
title = {Unsupervised learning of Data-driven Facial Expression Coding System (DFECS) using keypoint tracking},
author = {Shivansh Chandra Tripathi and Rahul Garg},
journal= {arXiv preprint arXiv:2406.05434},
year = {2024}
}