基于自监督表示的面部动作单元检测与强度估计
计算机视觉与模式识别
2022-10-31 v1 人工智能
摘要
作为细粒度且局部化的表情行为度量，面部动作单元（FAU）分析（如检测与强度估计）因其标注耗时、费力且易错而著称。因此，FAU 分析的一个长期挑战源于人工标注的数据稀缺，这在很大程度上限制了训练模型的泛化能力。大量已有工作通过半监督/弱监督方法及额外辅助信息来缓解该问题。然而，这些方法仍需要领域知识，且尚未避免对数据标注的高度依赖。本文引入一种鲁棒的面部表示模型 MAE-Face 用于 AU 分析。MAE-Face 以掩码自编码作为自监督预训练方式，首先从可行的人脸图像集合中学习一个高容量模型，无需额外数据标注。随后在 AU 数据集上微调后，MAE-Face 在 AU 检测与 AU 强度估计上均展现出令人信服的性能，在几乎所有评估结果上达到新的最先进（SOTA）水平。进一步研究表明，即便仅在 1% 的 AU 训练集上微调，MAE-Face 仍取得良好性能，有力证明了其鲁棒性与泛化性能。
引用
@article{arxiv.2210.15878,
title = {Facial Action Unit Detection and Intensity Estimation from Self-supervised Representation},
author = {Bowen Ma and Rudong An and Wei Zhang and Yu Ding and Zeng Zhao and Rongsheng Zhang and Tangjie Lv and Changjie Fan and Zhipeng Hu},
journal= {arXiv preprint arXiv:2210.15878},
year = {2022}
}