FG-Net：基于可泛化金字塔特征的人脸动作单元检测
计算机视觉与模式识别
2023-08-25 v1
摘要
人脸动作单元（AUs）的自动检测可实现客观的人脸表情分析。由于 AU 标注成本高且现有基准规模有限，以往的 AU 检测方法往往对数据集过拟合，导致跨语料库评估时性能显著下降。为解决该问题，我们提出 FG-Net 用于可泛化的人脸动作单元检测。具体而言，FG-Net 从在大规模多样化人脸图像数据集上预训练的 StyleGAN2 模型中提取特征图，随后利用金字塔 CNN 解释器（Pyramid CNN Interpreter）检测 AUs，使训练高效并捕获关键的局部特征。得益于从预训练生成模型中提取的可泛化且语义丰富的特征，所提出的 FG-Net 在基于热图的 AU 检测中具备强大的泛化能力。我们使用广泛使用的 DISFA 和 BP4D 数据集进行了大量实验，以评估域内和跨语料库 AU 检测。与最先进方法相比，所提方法在保持有竞争力的域内性能的同时，实现了更优的跨域性能。此外，FG-Net 数据高效，即使在 1000 个样本上训练也能取得有竞争力的性能。我们的代码将发布于 \url{https://github.com/ihp-lab/FG-Net}。
引用
@article{arxiv.2308.12380,
title = {FG-Net: Facial Action Unit Detection with Generalizable Pyramidal Features},
author = {Yufeng Yin and Di Chang and Guoxian Song and Shen Sang and Tiancheng Zhi and Jing Liu and Linjie Luo and Mohammad Soleymani},
journal= {arXiv preprint arXiv:2308.12380},
year = {2023}
}