xTrace：面向连续情感识别的人脸表达行为分析工具
计算机视觉与模式识别
2025-10-14 v2
摘要
识别面部视频中的表达行为是情感计算中的长期挑战。尽管近年来取得显著进展，但构建用于自然场景下实时人脸表达行为分析的稳健可靠系统仍困重重重。本文针对两个关键挑战：（1）缺乏覆盖广泛2D情感空间的大规模标注人脸情感视频数据集；（2）难以提取判别力强、可解释、稳健且计算效率高的面部视频特征。为此，我们提出xTrace——一种用于人脸表达行为分析和从野外人脸视频中预测连续维度情感（即价值与唤醒）的稳健工具。针对挑战（1），情感识别模型在包含约45万个视频、覆盖情感空间大部分区域的数据集上进行训练，使xTrace在分析多样化自然表达行为方面具有高度灵活性。针对挑战（2），xTrace采用可解释且在高准确率和稳健性方面表现优异，同时计算复杂度低的面部情感描述符。xTrace的关键组件经与MediaPipe、OpenFace和Augsburg情感工具箱等三款现有工具进行基准测试。在约5万个野外视频的测试集上，xTrace实现0.86的平均Concordance相关系数（CCC），在SEWA测试集上实现0.75的平均CCC，超越现有SOTA约7.1%。
引用
@article{arxiv.2505.05043,
title = {xTrace: A Facial Expressive Behaviour Analysis Tool for Continuous Affect Recognition},
author = {Mani Kumar Tellamekala and Shashank Jaiswal and Thomas Smith and Timur Alamev and Gary McKeown and Anthony Brown and Michel Valstar},
journal= {arXiv preprint arXiv:2505.05043},
year = {2025}
}