第八届自然场景情感与行为分析竞赛解决方案
计算机视觉与模式识别
2025-03-17 v1
摘要
在本报告中，我们介绍了我们在第八届自然场景情感与行为分析竞赛中针对动作单元检测挑战赛的解决方案。为了在自然场景环境下实现鲁棒且准确的面部动作单元分类，我们引入了一种利用音视频多模态数据的创新方法。该方法采用 ConvNeXt 作为图像编码器，并使用 Whisper 提取梅尔频谱特征。针对这些特征，我们利用基于 Transformer 编码器的特征融合模块来整合嵌入在音频和图像特征中的情感信息。这为后续在 Aff-Wild2 数据集上训练的多层感知机 (MLP) 提供了丰富的高维特征表示，从而提升了 AU 检测的准确性。
引用
@article{arxiv.2503.11115,
title = {Solution for 8th Competition on Affective & Behavior Analysis in-the-wild},
author = {Jun Yu and Yunxiang Zhang and Xilong Lu and Yang Zheng and Yongqi Wang and Lingsi Zhu},
journal= {arXiv preprint arXiv:2503.11115},
year = {2025}
}