基于专家引导多模态融合与大语言模型的统一情感识别与情绪分析框架
计算与语言
2026-01-13 v1 人工智能
摘要
多模态情感理解需要有效整合文本、音频和视觉模态，以进行离散情感识别和连续情绪分析。我们提出了EGMF，一个结合专家引导多模态融合与大语言模型的统一框架。我们的方法包含三个专门的专家网络——用于细微情感差异的细粒度局部专家、用于跨模态关系的语义关联专家和用于长程依赖的全局上下文专家——通过分层动态门控自适应整合，实现上下文感知的特征选择。增强的多模态表示通过伪标记注入和基于提示的条件化与LLM集成，使单一生成框架能够通过自然语言生成同时处理分类和回归任务。我们采用LoRA微调以提高计算效率。在双语基准（MELD、CHERMA、MOSEI、SIMS-V2）上的实验表明，与最先进方法相比持续改进，且跨语言鲁棒性优越，揭示了英语和汉语多模态情感表达的普遍模式。我们将公开发布源代码。
引用
@article{arxiv.2601.07565,
title = {A Unified Framework for Emotion Recognition and Sentiment Analysis via Expert-Guided Multimodal Fusion with Large Language Models},
author = {Jiaqi Qiao and Xiujuan Xu and Xinran Li and Yu Liu},
journal= {arXiv preprint arXiv:2601.07565},
year = {2026}
}