CiTrus: 从低数据生物信号迁移学习中榨取额外性能

生物信号的迁移学习近来已成为一项重要技术，用于在小型生物信号数据集上提升下游任务的预测性能。近期研究表明，在大型数据集（如脑电图）上使用自监督任务预训练神经网络模型，将自监督头替换为线性分类头，并在不同下游生物信号数据集（如肌电图或心电图）上微调模型，可以显著提升这些数据集上的性能。本文提出了一种新的卷积-Transformer混合模型架构，结合掩码自编码用于低数据生物信号迁移学习，引入了一种基于频率的掩码自编码任务，采用了更全面的评估框架，并评估了（多模态）预训练在多大程度以及何时提升微调性能。我们还引入了一种性能显著提升的方法，用于将具有不同时间长度和采样率的下游数据集与原始预训练数据集对齐。我们的发现表明，混合模型中的纯卷积部分可以在某些低数据下游任务上达到最先进的性能。使用完整模型时，性能通常进一步提升。对于基于Transformer的模型，我们发现预训练尤其能提升下游数据集的性能，多模态预训练通常能进一步增加这些增益，而我们的基于频率的预训练在最低和最高数据量场景下平均表现最佳。