Norface: 通过身份归一化提升面部表情分析
计算机视觉与模式识别
2024-07-23 v1 人工智能
摘要
面部表情分析由于意外的任务无关噪声(如身份、头部姿态和背景)仍是一个具有挑战性的任务。为此，本文提出了一种名为Norface的新型框架，用于统一处理动作单元(AU)分析和面部情感识别(FER)任务。Norface由归一化网络和分类网络组成。首先，经过精心设计的归一化网络通过保持面部表情一致性，将所有原始图像归一化为具有一致姿态和背景的 common identity，以直接消除上述任务无关噪声。然后，将这些额外的归一化图像输入分类网络。由于一致的身份和其他因素(如头部姿态、背景等)，归一化图像使分类网络能够更有效地提取有用的表情信息。此外，分类网络包含一种专家混合(Mixture of Experts)来细化潜在表示，包括处理面部表示的输入以及多个(AU或情感)标签的输出。广泛的实验验证了以身份归一化为洞察所设计的 carefully 设计的框架。该方法在多个面部表情分析任务中(包括AU检测、AU强度估计和FER任务，以及它们的跨数据集任务)均优于现有的SOTA方法。关于归一化数据集和代码，请访问{https://norface-fea.github.io/}。
引用
@article{arxiv.2407.15617,
title = {Norface: Improving Facial Expression Analysis by Identity Normalization},
author = {Hanwei Liu and Rudong An and Zhimeng Zhang and Bowen Ma and Wei Zhang and Yan Song and Yujing Hu and Wei Chen and Yu Ding},
journal= {arXiv preprint arXiv:2407.15617},
year = {2024}
}
备注
Accepted by ECCV2024