基于同任务EEG-fMRI数据融合与双模态模型的数据驱动内部言语解码性能
机器学习
2023-06-21 v1 人机交互
摘要
通过融合fMRI与EEG数据的混合方式来从脑信号中解码内部言语得到了探索，以考察相对于单模态模型的性能增益。研究了两种不同的双模态融合方法：将单模态fMRI与EEG机器学习模型输出的概率向量进行拼接，以及带特征工程的数据融合。从四名参与者处记录了同任务内部言语数据，并将不同处理策略与先前采用的混合方法进行比较对照。发现跨参与者的数据编码了不同的底层结构，这导致依赖于受试者的融合模型间解码性能存在差异。若数据呈现底层结构，则采用双模态fMRI-EEG融合策略的解码性能得以提升。
引用
@article{arxiv.2306.10854,
title = {Performance of data-driven inner speech decoding with same-task EEG-fMRI data fusion and bimodal models},
author = {Holly Wilson and Scott Wellington and Foteini Simistira Liwicki and Vibha Gupta and Rajkumar Saini and Kanjar De and Nosheen Abid and Sumit Rakesh and Johan Eriksson and Oliver Watts and Xi Chen and Mohammad Golbabaee and Michael J. Proulx and Marcus Liwicki and Eamonn O'Neill and Benjamin Metcalfe},
journal= {arXiv preprint arXiv:2306.10854},
year = {2023}
}