基于CLIP与序列学习的情感识别
计算机视觉与模式识别
2025-03-14 v1
摘要
人类情感识别在促进人与计算机之间无缝交互方面发挥着关键作用。在本文中，我们提出了一种创新方法，用于在第八届野外情感行为分析研讨会与竞赛（ABAW）的框架下解决效价-唤醒度（VA）估计挑战、表情识别挑战和动作单元（AU）检测挑战。我们的方法引入了一种新颖框架，旨在增强连续情感识别。这通过使用aff-wild2数据集对CLIP模型进行微调来实现，该数据集提供了标注的表情标签。由此产生的微调模型作为高效的视觉特征提取器，显著提升了其鲁棒性。为进一步提升连续情感识别的性能，我们在系统架构中集成了时间卷积网络（TCN）模块和Transformer编码器模块。这些先进组件的集成使我们的模型超越了基线性能，展示了其以更高准确率和效率识别人类情感的能力。
引用
@article{arxiv.2503.09929,
title = {Emotion Recognition with CLIP and Sequential Learning},
author = {Weiwei Zhou and Chenkun Ling and Zefeng Cai},
journal= {arXiv preprint arXiv:2503.09929},
year = {2025}
}