层次化自适应专家网络用于多模态情感分析
机器学习
2025-04-01 v1 计算机视觉与模式识别
多媒体
摘要
多模态情感分析已成为理解不同沟通渠道中人类情绪的关键工具。虽然现有方法取得了显著进展，但往往难以有效区分和集成模态共享信息与模态特定信息，限制了多模态学习的性能。为此，我们提出了层次化自适应专家网络用于多模态情感分析（HAEMSA），一种新型框架，融合了进化优化、跨模态知识传递和多任务学习。HAEMSA采用层次化自适应专家结构，捕获全局和局部模态表征，实现更细致的情感分析。我们的 метод利用进化算法动态优化网络结构和模态组合，适应部分和完整模态场景。大量实验表明，HAEMSA在多个基准数据集上表现优异。在CMU-MOSEI数据集上，HAEMSA的7类准确率提升2.6个百分点，平均绝对误差（MAE）降低0.059。在CMU-MOSI数据集上，7类准确率提升6.3个百分点，MAE降低0.058。在IEMOCAP数据集上，HAEMSA在情感识别中以加权F1分数超越最先进方法高出2.84个百分点。这些结果凸显了HAEMSA在捕捉复杂多模态互动和跨情境泛化方面的有效性。
引用
@article{arxiv.2503.22715,
title = {Hierarchical Adaptive Expert for Multimodal Sentiment Analysis},
author = {Jiahao Qin and Feng Liu and Lu Zong},
journal= {arXiv preprint arXiv:2503.22715},
year = {2025}
}
备注
11 pages, 3 figures