多模态低秩专家混合模型：用于情感分析和情感识别
人工智能
2025-05-21 v1
摘要
多任务学习（MTL）通过有效地转移从其他任务中获得的额外知识，实现了高效。多模态情感分析（MSA）与多模态情感识别（MER）之间的高度相关性支持它们的联合训练。然而，现有方法主要采用硬参数共享，忽略了由复杂任务相关性导致的参数冲突。在本文中，我们提出了一种新的MTL方法，用于MSA和MER，称为多模态低秩专家混合模型（MMoLRE）。MMoLRE利用共享和任务特定专家来分别建模常见和独特的任务特征，从而避免参数冲突。此外，灵感来自混合专家（MoE）框架中的低秩结构，我们设计低秩专家网络以减少随专家数量增加的参数和计算开销。广泛的实验在CMU-MOSI和CMU-MOSEI基准测试上表明，MMoLRE在MSA任务上实现了最先进的性能，在MER任务上取得了具竞争力的结果。
引用
@article{arxiv.2505.14143,
title = {Multimodal Mixture of Low-Rank Experts for Sentiment Analysis and Emotion Recognition},
author = {Shuo Zhang and Jinsong Zhang and Zhejun Zhang and Lei Li},
journal= {arXiv preprint arXiv:2505.14143},
year = {2025}
}
备注
Accepted to ICME 2025