并非所有混合皆同等：带有相对显著性标注的混合情感表达 BLEMORE 数据集
计算机视觉与模式识别
2026-01-21 v1 人机交互
摘要
人类通常并非一次只体验单一的基本情感，而是同时体验多种具有不同显著性的情感混合。尽管混合情感十分重要，但大多数基于视频的情感识别方法仅被设计用于识别单一情感。少数尝试识别混合情感的方法通常无法评估混合中各情感的相对显著性。这一局限性主要源于缺乏包含大量带有相对显著性标注的混合情感样本的数据集。为弥补这一不足，我们引入了 BLEMORE，一个用于多模态（视频、音频）混合情感识别的新型数据集，其中包含混合中每种情感的相对显著性信息。BLEMORE 包含来自 58 名演员的超过 3,000 个片段，涵盖 6 种基本情感和 10 种不同的混合，每种混合具有 3 种不同的显著性配置（50/50、70/30 和 30/70）。利用该数据集，我们在两个混合情感预测任务上对最先进的视频分类方法进行了广泛评估：（1）预测给定样本中情感的存在性，以及（2）预测混合中情感的相对显著性。我们的结果表明，单模态分类器在验证集上的存在性准确率达到 29%，显著性准确率达到 13%，而多模态方法带来了显著提升，其中 ImageBind + WavLM 达到了 35% 的存在性准确率，HiCMAE 达到了 18% 的显著性准确率。在留出测试集上，最佳模型达到了 33% 的存在性准确率（VideoMAEv2 + HuBERT）和 18% 的显著性准确率（HiCMAE）。总而言之，BLEMORE 数据集为推进考虑混合情感表达的复杂性与重要性的情感识别系统研究提供了宝贵资源。
引用
@article{arxiv.2601.13225,
title = {Not all Blends are Equal: The BLEMORE Dataset of Blended Emotion Expressions with Relative Salience Annotations},
author = {Tim Lachmann and Alexandra Israelsson and Christina Tornberg and Teimuraz Saghinadze and Michal Balazia and Philipp Müller and Petri Laukka},
journal= {arXiv preprint arXiv:2601.13225},
year = {2026}
}
备注
Accepted for publication at IEEE Face & Gesture 2026