3D-Telepathy：从EEG信号重建3D物体
计算机视觉与模式识别
2025-06-30 v1
摘要
从电脑神经信号（EEG）重建3D视觉刺激在大脑-计算机接口（BCI）及帮助通信障碍患者方面具有重要潜力。传统方法聚焦于将脑活动转换为2D图像，忽略了EEG数据向3D物体的翻译。这种局限值值得注意，因为人类大脑无论观察2D图像还是现实世界，都本质上处理三维空间信息。EEG捕获的神经活动包含丰富的空间信息，当仅重建2D图像时不可避免地被浪费，从而限制了其在BCI中的实际应用。从EEG数据到3D物体重建面临诸多挑战，包括EEG信号中的大量噪声，以及稀缺包含EEG和3D信息的数据集，使得提取3D视觉数据变得复杂。针对这一挑战性任务，我们提出一种创新的EEG编码器架构，集成双自注意力机制。我们采用混合训练策略训练EEG编码器，包括跨注意力、对比学习和自监督学习技术。此外，借助扩散模型作为先验分布，并利用变分得分蒸馏训练神经辐射场，我们成功地从EEG数据生成具有相似内容和结构的3D物体。
引用
@article{arxiv.2506.21843,
title = {3D-Telepathy: Reconstructing 3D Objects from EEG Signals},
author = {Yuxiang Ge and Jionghao Cheng and Ruiquan Ge and Zhaojie Fang and Gangyong Jia and Xiang Wan and Nannan Li and Ahmed Elazab and Changmiao Wang},
journal= {arXiv preprint arXiv:2506.21843},
year = {2025}
}