MSE-Adapter：为LLM提供执行多模态情感分析与情感识别能力的轻量级插件
计算与语言
2025-02-25 v2
摘要
当前基于预训练语言模型的多模态情感分析(MSA)和情感识别(ERC)方法存在两个主要局限：1) 一旦为MSA和ERC任务训练，这些预训练语言模型就丢失了其原始的通用能力。2) 它们需要相当大的计算资源。随着预训练语言模型规模的继续增长，使用以往方法训练更大的多模态情感分析模型可能导致不必要的计算成本。针对这一挑战，我们提出多模态情感分析和情感识别适配器(MSE-Adapter)，一种轻量且可适应的插件。该插件使大型语言模型(LLM)能够以最小的计算开销执行MSA或ERC任务（仅在6/7B模型上引入约260万至280万可训练参数），同时保留LLM的内在能力。在MSE-Adapter中，引入Text-Guide-Mixer(TGM)模块，通过Hadamard积在非文本和文本模态之间建立明确的联系。这允许非文本模态在特征层面更好地与文本模态对齐，从而促进更高质量的伪标记生成。我们在四个公开的英文和中文数据集上进行了广泛实验，使用消费级GPU和开源LLM(Qwen-1.8B、ChatGLM3-6B-base和LLaMA2-7B)作为底层模型。结果表明，所提出的插件有效且实用。该代码将在盲审通过后发布在GitHub上。
引用
@article{arxiv.2502.12477,
title = {Savaal: Scalable Concept-Driven Question Generation to Enhance Human Learning},
author = {Kimia Noorbakhsh and Joseph Chandler and Pantea Karimi and Mohammad Alizadeh and Hari Balakrishnan},
journal= {arXiv preprint arXiv:2502.12477},
year = {2025}
}
备注
Kimia Noorbakhsh, Joseph Chandler, and Pantea Karimi contributed equally to the work