用于情感分析的多模态多损失融合网络

Zehui Wu; Ziwei Gong; Jaywon Koo; Julia Hirschberg

用于情感分析的多模态多损失融合网络

计算与语言 2024-06-04 v4 人工智能机器学习多媒体

作者: Zehui Wu , Ziwei Gong , Jaywon Koo , Julia Hirschberg

摘要

本文研究了跨多种模态的特征编码器的最优选择与融合，并将这些整合于一个神经网络中以提升情感检测性能。我们比较了不同的融合方法，并考察了多模态融合网络内多损失训练的影响，发现了与子网络性能相关的令人惊讶的重要结论。我们还发现，融入上下文显著增强了模型性能。我们的最佳模型在三个数据集（CMU-MOSI、CMU-MOSEI 和 CH-SIMS）上取得了最先进的性能。这些结果指向了一条通过优化特征选择与融合方法来增强神经网络中情感检测的路线图。

关键词

多模态融合多损失训练情感分析特征编码器上下文融合神经网络

引用

@article{arxiv.2308.00264,
  title  = {Multimodal Multi-loss Fusion Network for Sentiment Analysis},
  author = {Zehui Wu and Ziwei Gong and Jaywon Koo and Julia Hirschberg},
  journal= {arXiv preprint arXiv:2308.00264},
  year   = {2024}
}

备注

First two authors contributed equally to the paper

用于情感分析的多模态多损失融合网络

摘要

关键词

引用

备注

相关论文