面向多模态情感识别的协同不确定性推理框架：SURE
计算与语言
2026-04-03 v1
摘要
多模态情感识别在对话中（MERC）需要在集成多模态信号的同时保持对噪声的鲁棒性，并建模上下文推理。现有方法常强调特征融合，却忽略了噪声特征中的不确定性以及细粒度的推理。我们提出SURE（Synergistic Uncertainty-aware REasoning），一个用于MERC的框架，提高了鲁棒性和上下文建模能力。SURE包含三个组件：一个不确定性感知的混合专家模块，用于处理模态特定的噪声；一个迭代推理模块，用于对上下文进行多轮推理；以及一个Transformer门控模块，用于捕获模态内及模态间的相互作用。在基准MERC数据集上的实验表明，SURE consistently优于state-of-the-art的方法，展示了其在稳健多模态推理方面的有效性。这些结果突显了在推进情感识别在对话设置中发展方面，不确定性建模和迭代推理的重要性。
引用
@article{arxiv.2604.01916,
title = {SURE: Synergistic Uncertainty-aware Reasoning for Multimodal Emotion Recognition in Conversations},
author = {Yiqiang Cai and Chengyan Wu and Bolei Ma and Bo Chen and Yun Xue and Julia Hirschberg and Ziwei Gong},
journal= {arXiv preprint arXiv:2604.01916},
year = {2026}
}
备注
ICASSP 2026