基于CLIP的鲁棒轻量级面部情感行为识别
计算机视觉与模式识别
2024-09-10 v2
摘要
人类情感行为分析旨在深入研究人类的表情和行为，以加深对人类情感的理解。基本表情类别（EXPR）和动作单元（AU）是这一分析中的两个基本组成部分，分别对情感进行分类并将面部运动分解为基本单元。尽管取得了进展，现有的表情分类和AU检测方法通常需要复杂的模型和大量的计算资源，限制了它们在日常环境中的适用性。在这项工作中，我们引入了第一个能够高效处理表情分类和AU检测的轻量级框架。该框架采用冻结的CLIP图像编码器以及可训练的多层感知器（MLP），并通过条件风险价值（CVaR）增强鲁棒性，以及通过损失景观平坦化策略改进泛化能力。在Aff-wild2数据集上的实验结果表明，与基线相比，该方法在保持最小计算需求的同时实现了优越的性能，为情感行为分析提供了一种实用的解决方案。代码可在 https://github.com/Purdue-M2/Affective_Behavior_Analysis_M2_PURDUE 获取。
引用
@article{arxiv.2403.09915,
title = {Robust Light-Weight Facial Affective Behavior Recognition with CLIP},
author = {Li Lin and Sarah Papabathini and Xin Wang and Shu Hu},
journal= {arXiv preprint arXiv:2403.09915},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2403.08947