超越 FACS：数据驱动的面部表情字典及其在自闭症预测中的应用
计算机视觉与模式识别
2025-06-02 v1
摘要
面部动作编码系统（FACS）已被众多研究用于探究面部行为与心理健康之间的联系。FACS 编码过程耗时且成本高昂，促使了用于动作单元（AU）检测的机器学习框架的发展。尽管经过三十年的不懈努力，许多 AU 的检测精度仍被认为低于行为研究所需的阈值。此外，许多 AU 被完全排除在外，使得实现 FACS 的最终目标——完整表征任何面部表情——变得不可能。本文考虑了一种替代方法。我们不再创建模仿 FACS 专家的自动化工具，而是提出使用一种模仿 FACS 关键特性的新编码系统。具体而言，我们构建了一个称为 Facial Basis 的数据驱动编码系统，它包含对应于局部化且可解释的 3D 面部运动的单元，并克服了自动化 FACS 编码的三个结构性局限。首先，所提方法完全无监督，绕过了昂贵、费力且易变的手动标注。其次，Facial Basis 能重建所有可观察到的运动，而不是依赖于有限的公认运动库（如自动化 FACS 那样）。最后，Facial Basis 单元是加性的，而 AU 在以非加性组合出现时可能无法被检测到。所提方法在根据面对面和远程对话预测自闭症诊断方面优于最常用的 AU 检测器，凸显了全面编码面部行为的重要性。据我们所知，Facial Basis 是首个用于将视频中面部表情解构为局部运动的 FACS 替代方案。我们在 github.com/sariyanidi/FacialBasis 提供了该方法的开源实现。
引用
@article{arxiv.2505.24679,
title = {Beyond FACS: Data-driven Facial Expression Dictionaries, with Application to Predicting Autism},
author = {Evangelos Sariyanidi and Lisa Yankowitz and Robert T. Schultz and John D. Herrington and Birkan Tunc and Jeffrey Cohn},
journal= {arXiv preprint arXiv:2505.24679},
year = {2025}
}
备注
To appear in the Proceedings of the 19th IEEE International Conference on Automatic Face and Gesture Recognition (2025)