可信多模态情感识别方法
计算机视觉与模式识别
2025-08-12 v1
摘要
现有情感识别方法主要致力于通过采用复杂的深度模型来提升性能，通常导致模型复杂度显著增加。虽然这些方法有效，但也至关重要的是确保最终决策的可靠性，尤其是对于噪声、损坏和分布外数据。为此，我们提出了一种新颖的情感识别方法，称为可信情感识别（Trusted Emotion Recognition, TER），它利用不确定性估计来计算预测的置信值。TER 根据各模态的置信值将结果进行加权组合，以输出可信预测。我们还提供了新的评估准则来评估预测的可靠性。具体而言，我们引入可信精确率（trusted precision）和可信召回率（trusted recall）以确定可信阈值，并构建可信准确率（trusted Acc.）和可信F1分数来评估模型的可信性能。该框架结合置信模块，从而为模型赋予可靠性和对可能噪声或损坏的鲁棒性。大量实验结果验证了我们所提出模型的有效性。在Music-video数据集上，TER实现了82.40%的准确率。在IEMOCAP和Music-video数据集上，TER在可信性能方面优于其他方法，分别实现了0.7511和0.9035的可信F1分数。
引用
@article{arxiv.2508.07625,
title = {A Trustworthy Method for Multimodal Emotion Recognition},
author = {Junxiao Xue and Xiaozhen Liu and Jie Wang and Xuecheng Wu and Bin Wu},
journal= {arXiv preprint arXiv:2508.07625},
year = {2025}
}
备注
Accepted for publication in Big Data Mining and Analytics (BDMA), 2025