AJILE 运动预测：面向自然人神经记录与视频的多模态深度学习
计算机视觉与模式识别
2018-04-04 v2 神经元与认知
摘要
开发脑与机器之间有用的接口是神经工程的一大挑战。有效接口不仅能够解释神经信号，还能预测人类在不久的将来执行动作的意图；在受控良好的实验室实验之外，预测变得更加困难。本文描述了我们检测和预测未来自然人手臂运动的方法，这是脑机接口中前所未有的关键挑战。我们引入了新颖的 Long-term ECoG 标注关节（Annotated Joints in Long-term ECoG, AJILE）数据集；AJILE 包含四名人类受试者超过 670 小时（逾 7200 万帧）的 7 个上半身关节自动标注姿态，以及同时获取的对应颅内神经记录。AJILE 的规模和范围大大超过以往所有带有运动与皮层电图（electrocorticography, ECoG）的数据集，使得采用深度学习方法进行运动预测成为可能。我们提出了一种结合深度卷积神经网络（CNN）与长短期记忆（LSTM）模块的多模态模型，利用 ECoG 与视频两种模态。我们证明我们的模型能够检测运动并在运动发起前最多 800 毫秒预测未来运动。此外，我们的多模态运动预测模型对输入神经信号的模拟消融表现出韧性。我们相信，考虑上下文的自然神经解码多模态方法对于推进生物电子技术与人类神经科学至关重要。
引用
@article{arxiv.1709.05939,
title = {AJILE Movement Prediction: Multimodal Deep Learning for Natural Human Neural Recordings and Video},
author = {Nancy Xin Ru Wang and Ali Farhadi and Rajesh Rao and Bingni Brunton},
journal= {arXiv preprint arXiv:1709.05939},
year = {2018}
}