E²-LLM：弥合神经信号与可解释情感分析
机器学习
2026-01-14 v1 人工智能
摘要
基于脑电图（EEG）信号的情感识别仍具挑战性，原因在于受试者间差异大、标注数据有限以及现有方法缺乏可解释推理。虽然近期多模态大语言模型（MLLM）推进了情感分析，但它们尚未适应神经信号的独特时空特征。我们提出了E²-LLM（EEG到情感大语言模型），这是首个用于从EEG进行可解释情感分析的MLLM框架。E²-LLM通过可学习的投影层将预训练的EEG编码器与基于Qwen的LLM集成，采用包含情感判别预训练、跨模态对齐和带思维链推理的指令微调的多阶段训练流程。我们设计了一个全面的评估协议，涵盖基本情感预测、多任务推理和零样本场景理解。在涵盖七类情感的数据集上的实验表明，E²-LLM在情感分类上取得了优异性能，更大规模的变体展现出更高的可靠性和对复杂推理场景的优越零样本泛化能力。我们的工作建立了将生理信号与LLM推理能力相结合的新范式，表明模型扩展能同时提高情感计算中的识别准确性和可解释情感理解。
引用
@article{arxiv.2601.07877,
title = {E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis},
author = {Fei Ma and Han Lin and Yifan Xie and Hongwei Ren and Xiaoyu Shen and Wenbo Ding and Qi Tian},
journal= {arXiv preprint arXiv:2601.07877},
year = {2026}
}
备注
11 pages