TiCAL：基于典型性的一致性感知的多模态情感识别
计算机视觉与模式识别
2025-11-20 v1
摘要
多模态情感识别(MER)旨在通过整合视觉、听觉和文本等异构模态来准确识别人类情感状态。现有方法主要依赖统一的情感标签来监督模型训练，往往忽视了一个关键挑战：跨模态情感冲突，即同一样本中不同模态可能表达不同的情感倾向。在本工作中，我们提出了一种新型框架——典型性一致性感知多模态情感识别(TiCAL)，灵感来自人类情感感知的阶段性。TiCAL利用伪模态情感标签和典型性估计，动态评估每个训练样本的一致性。为了进一步增强情感表征，我们将特征嵌入到双曲空间中，以捕捉情感类别中细粒度的区别。通过将一致性估计纳入学习过程，我们的方法在处理跨模态一致性高的样本时表现出 improved 性能。在CMU-MOSEI和MER2023等基准数据集上的大量实验表明，TiCAL在缓解跨模态情感冲突和提高整体识别准确率方面具有有效性，例如相较于最新方法DMD提升约2.6%。
引用
@article{arxiv.2511.15085,
title = {TiCAL:Typicality-Based Consistency-Aware Learning for Multimodal Emotion Recognition},
author = {Wen Yin and Siyu Zhan and Cencen Liu and Xin Hu and Guiduo Duan and Xiurui Xie and Yuan-Fang Li and Tao He},
journal= {arXiv preprint arXiv:2511.15085},
year = {2025}
}
备注
11 pages, 5 figures