用于人脑动态功能连接自监督学习的联合嵌入掩码自编码器
机器学习
2025-05-06 v2 神经元与认知
摘要
图神经网络（GNN）在学习动态功能连接以从人脑网络中区分表型方面展现出了潜力。然而，获取大量用于训练的标注临床数据通常资源消耗巨大，使得实际应用变得困难。因此，在标签稀缺的环境下，利用无标签数据对于表征学习至关重要。尽管生成式自监督学习技术，尤其是掩码自编码器，在各个领域的表征学习中展现出了可喜的成果，但其在动态图上用于动态功能连接的应用仍未得到充分探索，在捕获高级语义表征方面面临挑战。在此，我们引入了时空联合嵌入掩码自编码器（ST-JEMA），其灵感来源于计算机视觉中的联合嵌入预测架构（JEPA）。ST-JEMA 采用受 JEPA 启发的策略来重建动态图，这使得能够从时间视角学习更高级别的语义表征，从而解决了 fMRI 数据表征学习中的挑战。利用大规模 UK Biobank 数据集进行自监督学习，ST-JEMA 在动态功能连接上展现出了卓越的表征学习性能，证明了在八个基准 fMRI 数据集上预测表型和精神诊断方面优于以往方法，即使在样本有限的情况下也是如此，并展示了在数据缺失场景下时间重建的有效性。这些发现突显了我们方法作为一种利用标签稀缺 fMRI 数据的稳健表征学习方法的潜力。
引用
@article{arxiv.2403.06432,
title = {Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain},
author = {Jungwon Choi and Hyungi Lee and Byung-Hoon Kim and Juho Lee},
journal= {arXiv preprint arXiv:2403.06432},
year = {2025}
}
备注
Under review