LibreFace：一个用于深度面部表情分析的开源工具包
计算机视觉与模式识别
2023-08-28 v2
摘要
面部表情分析是人机交互的重要工具。本文介绍 LibreFace，一个用于面部表情分析的开源工具包。该开源工具箱通过深度学习模型提供面部行为的实时与离线分析，包括面部动作单元（AU）检测、AU 强度估计和面部表情识别。为此，我们采用了多种技术，包括使用大规模预训练网络、特征级知识蒸馏和任务特定微调。这些方法旨在通过利用视觉信息有效且准确地分析面部表情，从而促进实时交互应用的实现。在动作单元（AU）强度估计方面，我们在 DISFA 上取得了 0.63 的皮尔逊相关系数（PCC），比 OpenFace 2.0 的性能高出 7%，同时保持了比 OpenFace 2.0 快两倍的推理效率。尽管模型紧凑，我们的模型在 AffecNet、FFHQ 和 RAF-DB 上也展示出与最先进面部表情分析方法相竞争的性能。我们的代码将发布于 https://github.com/ihp-lab/LibreFace
引用
@article{arxiv.2308.10713,
title = {LibreFace: An Open-Source Toolkit for Deep Facial Expression Analysis},
author = {Di Chang and Yufeng Yin and Zongjian Li and Minh Tran and Mohammad Soleymani},
journal= {arXiv preprint arXiv:2308.10713},
year = {2023}
}
备注
10 pages, 5 figures. Accepted by WACV 2024 Round 1. (Application Track) Project Page: https://boese0601.github.io/libreface/