EmoVerse：探索多模态大语言模型用于情感与情绪理解
计算与语言
2025-07-08 v3
摘要
情感与情绪理解是人机交互和抑郁检测等应用的关键。虽然多模态大语言模型 (MLLMs) 在通用能力方面表现突出，但在情感计算领域面临诸多挑战，尤其是检测细微面部表情和处理复杂情绪任务（如情绪推理和长情境情绪理解）。此外，缺乏一种统一的MLLMs能够有效处理情感和情绪相关任务。为此，我们探索了情感计算中多任务训练策略，并引入情感宇宙 (EmoVerse)，一种能够处理广泛情感和情绪任务的MLLMs。EmoVerse能够深入分析情绪状态的潜在原因。我们还引入了情感多任务 (AMT) 数据集，支持多模态情感分析、多模态情绪识别、面部表情识别、情绪推理和情绪原因-配对提取等任务。大量实验表明，EmoVerse 在情感和情绪任务上超越了现有方法，实现了最新成果。代码已公开于 https://github.com/liaolea/EmoVerse。
引用
@article{arxiv.2412.08049,
title = {EmoVerse: Exploring Multimodal Large Language Models for Sentiment and Emotion Understanding},
author = {Ao Li and Longwei Xu and Chen Ling and Jinghui Zhang and Pengwei Wang},
journal= {arXiv preprint arXiv:2412.08049},
year = {2025}
}