EgoBrain：协同大脑与视觉以理解人类动作
人工智能
2025-10-15 v2 计算机视觉与模式识别
机器学习
摘要
脑机接口（BCIs），特别是脑电图（EEG），与人工智能（AI）的融合在从神经信号解码人类认知与行为方面展现出了巨大潜力。特别是，多模态 AI 模型的兴起带来了前所未有的新可能。在此，我们提出了 EgoBrain——世界上首个大规模、时间对齐的多模态数据集，该数据集在较长时间内同步了第一人称视觉与人脑 EEG，为以人为中心的行为分析确立了新范式。该数据集包含 61 小时的同步 32 通道 EEG 记录和来自 40 名参与者的第一人称视频，这些参与者参与了 29 个类别的日常活动。随后，我们开发了一个多模态学习框架来融合 EEG 与视觉以进行动作理解，并在跨主体和跨环境挑战中进行了验证，实现了 66.70% 的动作识别准确率。EgoBrain 为多模态脑机接口的统一框架铺平了道路。所有数据、工具和采集协议均已开放共享，以促进认知计算领域的开放科学。
引用
@article{arxiv.2506.01353,
title = {EgoBrain: Synergizing Minds and Eyes For Human Action Understanding},
author = {Nie Lin and Yansen Wang and Dongqi Han and Weibang Jiang and Jingyuan Li and Ryosuke Furuta and Yoichi Sato and Dongsheng Li},
journal= {arXiv preprint arXiv:2506.01353},
year = {2025}
}
备注
22 pages, 12 figures