通过长期视频与神经记录中的行为挖掘研究自然行为下的手部运动
神经元与认知
2020-06-23 v2 计算机视觉与模式识别
图像与视频处理
摘要
脑记录与人工智能领域近来的技术进步正在推动神经科学超越传统受控实验的新范式。自然神经科学研究在无约束环境中进行的自发行为背后的神经过程，而非聚焦于提示的、重复的试次。然而，分析这类缺乏先验实验设计的非结构化数据仍是一项重大挑战，尤其当数据为多模态且长期时。在此，我们描述一种用于分析同步记录的长期自然行为皮层脑电（ECoG, electrocorticography）与自然行为视频数据的自动化方法。我们采取行为优先的方式分析长期记录。结合计算机视觉、离散潜变量建模以及行为视频数据上的字符串模式匹配，我们查找并标注自发的人体上肢运动事件。我们展示了将该方法应用于 12 名人类受试者数据的结果，每名受试者记录 7–9 天。我们的流程在行为视频中发现并标注了超过 40,000 个自然人体上肢运动事件。对同步记录的脑数据分析揭示了运动的神经特征，印证了传统受控实验的既往发现。我们还原型化了一个用于运动起始检测任务的解码器，以证明我们的流程作为脑机接口应用训练数据源的有效性。我们的工作应对了研究自然人类行为中独特的数据分析挑战，并贡献了可推广至 ECoG 之外其他神经记录模态的方法。我们公开发布精心整理的数据集，为研究自然神经与行为变异性提供了此前未有的规模资源。
引用
@article{arxiv.2001.08349,
title = {Investigating naturalistic hand movements by behavior mining in long-term video and neural recordings},
author = {Satpreet H. Singh and Steven M. Peterson and Rajesh P. N. Rao and Bingni W. Brunton},
journal= {arXiv preprint arXiv:2001.08349},
year = {2020}
}