BEE-NET：一种识别野外肢体情绪表达的深度神经网络
计算机视觉与模式识别
2024-02-22 v1
摘要
在本研究中，我们调查了环境因素，特别是场景和物体，如何通过肢体语言影响情绪表达。为此，我们引入了一种名为 BEE-NET 的新型多流深度卷积神经网络。我们还提出了一种新的晚期融合策略，该策略将关于地点和物体的元信息作为先验知识纳入学习过程。我们提出的概率池化模型利用这些信息，在潜在空间中生成可用和预期不可用的上下文信息的联合概率分布。重要的是，我们的融合策略是可微的，允许端到端训练并捕捉数据点之间的隐藏关联，而无需进一步的后处理或正则化。为了评估我们的深度模型，我们使用了肢体语言数据库（Body Language Database, BoLD），这是目前用于自动识别野外肢体情绪表达（Automatic Identification of the in-the-wild Bodily Expression of Emotions, AIBEE）的最大可用数据库。我们的实验结果表明，我们提出的方法在 AIBEE 任务上以 2.07% 的优势超越了当前的 state-of-the-art，达到了 66.33% 的情绪识别得分。
引用
@article{arxiv.2402.13955,
title = {BEE-NET: A deep neural network to identify in-the-wild Bodily Expression of Emotions},
author = {Mohammad Mahdi Dehshibi and David Masip},
journal= {arXiv preprint arXiv:2402.13955},
year = {2024}
}