OpenFace 3.0：面向综合性面部行为分析的轻量级多任务系统
摘要
近年来，随着视觉、多模态交互、机器人和情感计算等计算社区对自动面部行为分析系统的日益关注，基于先前开源面部分析系统广泛实用的背景，我们引入了 OpenFace 3.0，这是一个能够进行面部关键点检测、面部动作单元检测、眼动估计和面部情感识别的开源工具包。OpenFace 3.0 为面部分析贡献了一个轻量级统一模型，采用多任务架构进行训练，涵盖多样化的人口、头部姿态、光照条件、视频分辨率以及面部分析任务。通过利用统一模型和训练范式中参数共享的优势，OpenFace 3.0 在类似工具包以及领先模型的预测性能、推理速度和内存效率方面均取得改进。OpenFace 3.0 可通过一行代码安装运行，无需专业硬件即可实时工作。OpenFace 3.0 的模型训练代码和系统运行代码均 freely available for research purposes and supports contributions from the community。
引用
@article{arxiv.2506.02891,
title = {OpenFace 3.0: A Lightweight Multitask System for Comprehensive Facial Behavior Analysis},
author = {Jiewen Hu and Leena Mathur and Paul Pu Liang and Louis-Philippe Morency},
journal= {arXiv preprint arXiv:2506.02891},
year = {2025}
}
备注
IEEE FG 2025, \c{opyright} 2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work