用于情绪反应强度估计的双分支网络
人工智能
2023-03-17 v1 人机交互
摘要
情绪反应强度(ERI)估计是多模态场景中的一项重要任务，在医学、安全驾驶等领域具有基础应用。本文中，我们针对第五届野外情感行为分析(ABAW)的 ERI 挑战提出一种解决方案，即一种基于双分支的多输出回归模型。利用空间注意力更好地提取视觉特征，利用梅尔频率倒谱系数技术提取声学特征，并加入一种称为模态丢弃的方法来融合多模态特征。我们的方法在官方验证集上取得了优异结果。
引用
@article{arxiv.2303.09210,
title = {A Dual Branch Network for Emotional Reaction Intensity Estimation},
author = {Jun Yu and Jichao Zhu and Wangyuan Zhu and Zhongpeng Cai and Guochen Xie and Renda Li and Gongpeng Zhao},
journal= {arXiv preprint arXiv:2303.09210},
year = {2023}
}