用于面部动作单元检测的时空AU关系图表示学习
计算机视觉与模式识别
2023-06-06 v3
摘要
本文介绍了我们提交给第五届自然场景情感行为分析竞赛（ABAW）的面部动作单元（AUs）检测方案。我们的方法包含三个主要模块：(i) 一个预训练的面部表示编码器，从输入序列中的每张输入人脸图像中生成强大的面部表示；(ii) 一个特定于 AU 的特征生成器，从每个面部表示中专门学习一组 AU 特征；(iii) 一个时空图学习模块，用于构建时空图表示。该图表示描述了所有帧中包含的 AU，并基于相应人脸内建模的空间信息以及帧间学习到的时间动态来预测每个 AU 的出现。实验结果表明，我们的方法优于基线，并且时空图表示学习使我们的模型在所有消融系统中生成了最佳结果。我们的模型在第五届 ABAW 竞赛的 AU 识别赛道中排名第 4。我们的代码已在 https://github.com/wzh125/ABAW-5 上公开。
引用
@article{arxiv.2303.10644,
title = {Spatio-Temporal AU Relational Graph Representation Learning For Facial Action Units Detection},
author = {Zihan Wang and Siyang Song and Cheng Luo and Yuzhi Zhou and Shiling Wu and Weicheng Xie and Linlin Shen},
journal= {arXiv preprint arXiv:2303.10644},
year = {2023}
}