Neuro-BERT：重新思考用于自监督神经预训练的掩码自编码

与神经信号相关的深度学习有望推动医学诊断、神经康复和脑机接口等多个领域的重大进步。充分利用这些信号潜力的挑战在于对大量高质量标注数据的依赖，而这些数据通常稀缺且获取成本高昂，需要专门的基础设施和领域专业知识。为解决深度学习对数据的需求，我们提出了 Neuro-BERT，这是一个基于傅里叶域掩码自编码的神经信号自监督预训练框架。我们方法背后的直觉很简单：神经信号的频率和相位分布可以揭示复杂的神经活动。我们提出了一项新颖的预训练任务，称为傅里叶反演预测（FIP），该任务随机掩码输入信号的一部分，然后利用傅里叶反演定理预测缺失的信息。预训练模型可潜在地用于各种下游任务，如睡眠阶段分类和手势识别。与强烈依赖精心手工设计的数据增强和孪生结构的对比式方法不同，我们的方法使用简单的 Transformer 编码器即可良好运行，无需数据增强。通过在多个基准数据集上评估我们的方法，我们表明 Neuro-BERT 大幅提升了下游神经相关任务的性能。