基于多尺度 CNN 与生物启发决策融合模型的多模态情感状态识别
信号处理
2023-06-02 v2 人机交互
机器学习
摘要
近年来，基于单模态信号（如脑电图（EEG）信号或外周生理信号）的情感状态识别模型取得了令人鼓舞的进展。然而，基于多模态生理信号的情感状态识别方法尚未被充分挖掘。本文提出多尺度卷积神经网络（Multiscale CNNs）与一种生物启发决策融合模型用于多模态情感状态识别。首先，利用基线信号对原始信号进行预处理。然后，利用多尺度 CNNs 中的高层尺度 CNN 与低层尺度 CNN 分别预测 EEG 与各外周生理信号的情感状态输出概率。最后，融合模型通过各类标签与多尺度 CNNs 分类概率之间的欧氏距离计算各单模态信号的可靠性，并依据更可靠的模态信息做出决策，同时保留其他模态信息。我们利用该模型在 DEAP 与 AMIGOS 数据集上从唤醒-效价平面分类四种情感状态。结果表明，与单模态信号结果相比，融合模型显著提升了情感状态识别准确率，融合结果在 DEAP 与 AMIGOS 数据集上的识别准确率分别达到 98.52% 与 99.89%。
引用
@article{arxiv.1911.12918,
title = {Multimodal Affective States Recognition Based on Multiscale CNNs and Biologically Inspired Decision Fusion Model},
author = {Yuxuan Zhao and Xinyan Cao and Jinlong Lin and Dunshan Yu and Xixin Cao},
journal= {arXiv preprint arXiv:1911.12918},
year = {2023}
}
备注
21 pages, 11 figures, 8 tables