OUS：面向动态面部表情识别的场景引导方法
计算机视觉与模式识别
2024-05-30 v1
摘要
动态面部表情识别（DFER）是情感计算中的关键任务，但往往忽视了场景背景的影响。我们发现当前 DFER 任务中存在一个显著问题：人类标注者通常会综合来自不同角度的情感，包括环境线索和身体语言，而现有的 DFER 方法倾向于将场景视为需要滤除的噪声，仅关注面部信息。我们称之为刚性认知问题（Rigid Cognitive Problem）。刚性认知问题可能导致标注者和模型在某些样本上的认知产生差异。为更贴近人类情感认知范式，我们提出一种整体理解场景的 DFER 方法（Overall Understanding of the Scene DFER，OUS）。OUS 有效地整合了场景和面部特征，结合场景特定的情感知识进行 DFER。在 DFER 领域最大的两个数据集 DFEW 和 FERV39k 上进行的广泛实验表明，OUS 在现有方法中显著优于所有对比方法。通过分析刚性认知问题，OUS 成功地理解了场景背景与情感表情之间复杂的关系，密切符合人类在真实场景中对情感理解的方式。
引用
@article{arxiv.2405.18769,
title = {OUS: Scene-Guided Dynamic Facial Expression Recognition},
author = {Xinji Mai and Haoran Wang and Zeng Tao and Junxiong Lin and Shaoqi Yan and Yan Wang and Jing Liu and Jiawen Yu and Xuan Tong and Yating Li and Wenqiang Zhang},
journal= {arXiv preprint arXiv:2405.18769},
year = {2024}
}
备注
12 pages, 6 figures, 6 tables