潜分布解耦：面向不确定性感知多模态情感识别的概率框架
计算与语言
2025-02-20 v1 机器学习
摘要
多模态多标签情感识别 旨在识别多模态数据中多种情感的并发存在。现有研究主要集中在改进融合策略和建模模态到标签的依赖关系。然而，它们通常忽略了 \textbf{偶然不确定性} 的影响，这是多模态数据中的固有噪声，通过在特征表示中引入模糊性来阻碍模态融合的有效性。为了解决这个问题并有效地建模偶然不确定性，本文从潜情感空间概率建模的新颖视角提出了具有不确定性感知的潜情感分布分解 框架。具体而言，我们在情感空间内引入对比解耦分布机制来对多模态数据进行建模，从而允许提取语义特征和不确定性。此外，我们设计了一种不确定性感知融合多模态方法，该方法考虑了不确定性的分散分布并整合了分布信息。实验结果表明，LDDU 在 CMU-MOSEI 和 MED 数据集上取得了最先进的性能，突出了不确定性建模在 MMER 中的重要性。代码可在 https://github.com/201983290498/lddu\_mmer.git 获取。
引用
@article{arxiv.2502.13954,
title = {Latent Distribution Decoupling: A Probabilistic Framework for Uncertainty-Aware Multimodal Emotion Recognition},
author = {Jingwang Huang and Jiang Zhong and Qin Lei and Jinpeng Gao and Yuming Yang and Sirui Wang and Peiguang Li and Kaiwen Wei},
journal= {arXiv preprint arXiv:2502.13954},
year = {2025}
}