排序至关重要：用于混合情感识别的排名感知选择性融合
计算机视觉与模式识别
2026-05-26 v2 人工智能
摘要
混合情感识别具有挑战性，因为情感往往以微妙且重叠的多模态线索的混合形式表现，而非单一的主导信号。我们提出了一种排名感知多编码器框架，通过选择性地组合来自不同预提取视频和音频编码器的互补表征。该方法将异构编码器特征投影到共享的潜在空间，通过基于注意力的门控模块估计样本级编码器重要性，并仅融合最具信息性的 top-n 个编码器。为更好地建模混合情感，我们将预测解耦为存在和显著性头部，并通过概率级融合进行对齐。我们进一步采用特征级无监督域适应，无需伪标签即可提高分布迁移下的鲁棒性。在 BlEmoRE 挑战赛上的实验表明，所提框架在强大的单个编码器和简单的数码-编码器融合 baseline 方面均表现优异。我们的最终系统在比赛中排名第 2，支持排名感知选择性融合用于细粒度混合情感识别的有效性。
引用
@article{arxiv.2605.21417,
title = {Ordering Matters: Rank-Aware Selective Fusion for Blended Emotion Recognition},
author = {Junghyun Lee and Hyunseo Kim and Hanna Jang and Junhyug Noh},
journal= {arXiv preprint arXiv:2605.21417},
year = {2026}
}
备注
Accepted at IEEE FG 2026 Workshops. Final system ranked 2nd in the BlEmoRE Challenge. 9 pages including appendix, 8 figures