EmoTrans：理解、推理与预测多模态LLM中情感转变的基准
计算机视觉与模式识别
2026-04-28 v1 人工智能
摘要
最近的多模态大型语言模型（MLLM）在感知、推理和生成方面展现出强大的能力，正在广泛应用于社交机器人和人机交互等场景，情感理解尤为关键。然而，现有基准主要将情感理解形式化为静态识别问题，尚不清楚当前的MLLM能否将情感理解为一种动态的、在不同社交情境中演变、转变状态的过程。为填补这一差距，我们提出EmoTrans，用于评估多模态视频中情感动态理解的基准。EmoTrans包含1000个精心收集和人工标注的视频片段，覆盖12种真实场景，提供超过3000个特定任务的问答对，以进行细粒度评估。基准引入四个任务，即情感变化检测（ECD）、情感状态识别（ESI）、情感转理（ETR）和下一情感预测（NEP），构成从粗粒度检测到深层推理和预测的渐进式评估框架。我们对18个最先进的MLLM在EmoTrans上的进行全面评估，得出两个主要发现：首先，尽管当前MLLM在粗粒度情感变化检测方面表现相对较好，但在细粒度情感动态建模方面仍存在挑战。其次，社交复杂场景，特别是多人场景，仍然具有显著挑战性，而注重推理的变体并不一致地带来明显的改进。为促进未来研究，我们在https://github.com/Emo-gml/EmoTrans公开发布基准、评估协议和代码。
引用
@article{arxiv.2604.23348,
title = {EmoTrans: A Benchmark for Understanding, Reasoning, and Predicting Emotion Transitions in Multimodal LLMs},
author = {He Hu and Tengjin Weng and Zebang Cheng and Yu Wang and Jiachen Luo and Björn Schuller and Zheng Lian and Laizhong Cui},
journal= {arXiv preprint arXiv:2604.23348},
year = {2026}
}