通过融合脑电与眼动仪数据改进单次试验分类中的意图检测
人机交互
2021-12-07 v1 信号处理
摘要
意图解码是免手人机交互(HCI)中不可或缺的环节。传统眼动追踪系统使用单一模态的注视时长可能发出忽略用户真实期望的指令。在本研究中，我们引入了一种眼-脑混合脑机接口(BCI)交互系统，通过融合多模态眼动追踪与ERP(源自EEG的一种测量)特征来进行意图检测。在64名健康受试者执行一项在25个图标中定制自由搜索固定目标图标的40分钟任务时，记录了其眼动追踪与EEG数据，并提取了对应的眼动注视时长与ERP。采用五种先前验证过的基于LDA的分类器(包括RLDA、SWLDA、BLDA、SKLDA和STDA)以及广泛使用的CNN方法来从离线与伪在线分析两方面验证特征融合的有效性，并通过调节训练集与系统响应时长来评估最优方案。我们的研究表明，在多模态眼动追踪与ERP特征的输入下，主动搜索任务的单次试验分类中意图检测取得了更优性能。并且与单一模态ERP特征相比，该新策略在不同分类器间也引发了相符的准确率。此外，与其他分类方法相比，我们发现SKLDA在融合特征的离线测试(ACC=0.8783, AUC=0.9004)及不同样本量与时长长度的在线模拟中均表现出最优性能。总之，本研究揭示了利用眼-脑混合BCI进行意图分类的新颖有效方法，并进一步以更精确稳定的方式支持了免手HCI的实际应用。
引用
@article{arxiv.2112.02566,
title = {Improving Intention Detection in Single-Trial Classification through Fusion of EEG and Eye-tracker Data},
author = {Xianliang Ge and Yunxian Pan and Sujie Wang and Linze Qian and Jingjia Yuan and Jie Xu and Nitish Thakor and Yu Sun},
journal= {arXiv preprint arXiv:2112.02566},
year = {2021}
}