EmoMind：从人脑 fMRI 解码情感描述
机器学习
2026-05-19 v1 人工智能
计算与语言
神经元与认知
摘要
从脑活动解码视觉体验的进展显著提升，但当前的脑-文本系统在恢复语义内容时往往忽略情感信息。此外，语言模型可在给定分类标签提示下生成情感文本，但此类标签将丰富的主体间变异性压缩为粗糙的离散离散箱。我们提出 EmoMind，这是首个能够直接从 fMRI 信号解码情感描述的端到端管线。EmoMind 首先从脑解码的视觉特征中检索语义导向的中性场景描述，然后通过从同一 fMRI 记录中解码的连续 34 维情感向量对其进行改写。在内容保真度与情感表达性之间建立平衡时，我们采用无条件引导对抗身份保持的空白分支进行训练，以实现语义保真度与情感表达性之间的平滑插值。我们采用包含主体特定性、结构几何和因果控制三个维度的验证框架来评估情感描述生成。我们进一步引入合成脑替代测试，以探测系统对测量装置的鲁棒性，并将每个维度基准对照使用 GPT-4 通过脑解码的前 5 个情感标签进行提示，以作为强离散基准。跨两个独立的情感 fMRI 数据集，EmoMind 在所有三个维度上均显著优于基于标签提示的 GPT-4，尤其在需要个体化情感结构而非群体级情感聚合的指标上取得最大提升。这些结果表明，连续脑解码情感可为个性化情感描述生成提供可行的控制信号，并为研究个体情感脑组织结构开辟了新方向。
引用
@article{arxiv.2605.16739,
title = {EmoMind: Decoding Affective Captions from Human Brain fMRI},
author = {Bilal A. Mohammed and Lin Gu and Ruogo Fang},
journal= {arXiv preprint arXiv:2605.16739},
year = {2026}
}