利用自动化视频与音频标注的无监督解码长期自然人类神经记录
神经元与认知
2018-01-22 v2
摘要
从直接神经记录中全自动解码人类活动与意图是脑机接口中一个诱人的挑战。大多数正在进行的研究集中于在实验室环境中针对特定的刻板任务训练解码器。在自然环境中实现脑机接口 (BCIs) 需要需极少监督的自适应策略和可扩展算法。在此，我们提出一种无监督方法，用于解码在自然背景下获取的人脑记录中的神经状态。我们在多名受试者于医院病房脑表面记录的多天连续长期皮层脑电 (ECoG) 数据上演示了我们的方法，同时配有音频与视频记录。我们首先在高维 ECoG 记录中发现簇，然后利用从音频和视频记录中自动提取的语音与运动标签对相干簇进行标注。据我们所知，这代表了计算机视觉与语音处理技术首次被用于自然 ECoG 解码。我们的结果表明，我们的无监督方法能从 ECoG 数据中发现不同的行为，包括运动、说话和休息。我们通过与手动标注比较验证了方法的准确性。将发现的簇中心投射回大脑，该技术为自然环境中的自动化功能脑映射打开了大门。
引用
@article{arxiv.1511.08260,
title = {Unsupervised decoding of long-term, naturalistic human neural recordings with automated video and audio annotations},
author = {Nancy X. R. Wang and Jared D. Olson and Jeffrey G. Ojemann and Rajesh P. N. Rao and Bingni W. Brunton},
journal= {arXiv preprint arXiv:1511.08260},
year = {2018}
}