基于人脑活动的多视图多标签细粒度情绪解码

从人脑活动解码情绪状态在脑机接口中起着重要作用。现有情绪解码方法仍有两个主要局限：一是仅从一种脑活动模式解码单一情绪类别且解码情绪类别为粗粒度，这与人类复杂情绪表达不一致；二是忽略人脑左右半球情绪表达的差异。本文提出一种新颖的多视图多标签混合模型用于细粒度情绪解码（多达80个情绪类别），可学习具有表现力的神经表征并同时预测多种情绪状态。具体而言，我们混合模型的生成组件由多视图变分自编码器参数化，其中将左右半球脑活动及其差异视为三个不同视图，并在其推断网络中使用专家乘积机制。混合模型的判别组件由带非对称焦点损失的多标签分类网络实现。为更准确解码情绪，我们首先采用标签感知模块学习情绪特定神经表征，随后通过掩码自注意力机制建模情绪状态间依赖关系。在两个视觉诱发情绪数据集上的大量实验显示了本方法的优越性。