多任务协同预训练与个体自适应令牌微调：面向大脑表征学习的统一框架
计算机视觉与模式识别
2023-06-21 v1
摘要
结构磁共振成像 提供了对大脑结构组织的准确估计，从 sMRI 中学习不变的大脑表征是神经科学中一个持久的课题。以往的深度表征学习模型忽略了大脑作为人类认知活动的核心，有别于其他以解剖学为主要属性的器官。因此，捕捉主导个体间认知变异的语义结构是准确表征大脑的关键。鉴于这种高级语义信息在脑结构中是微妙、分布且相互依赖地潜在的，基于 sMRI 的模型需要捕捉细粒度细节并理解它们与整体全局结构的关系。然而，现有模型由简单的目标优化，使得特征坍缩为同质化，恶化了细粒度信息与整体语义的同时表征，导致缺乏生物学合理性及对认知的解释。在此，我们提出 MCIAT，一个结合了多任务协同预训练与个体自适应令牌微调的统一框架。具体而言，我们首先将恢复性学习、年龄预测辅助学习与对抗学习综合为深度语义表征学习的联合代理任务。然后，提出了一种基于互注意力的令牌选择方法以突出判别性特征。与几种基于 sMRI 的方法相比，所提出的 MCIAT 在 ADHD-200 数据集上取得了 SOTA 的诊断性能，并在 MCIC 和 OASIS 数据集上展现出优越的泛化能力。此外，我们研究了 12 项行为任务，发现认知功能与 MCIAT 建立的表征之间存在显著关联，验证了我们提出框架的可解释性。
引用
@article{arxiv.2306.11378,
title = {Multi-task Collaborative Pre-training and Individual-adaptive-tokens Fine-tuning: A Unified Framework for Brain Representation Learning},
author = {Ning Jiang and Gongshu Wang and Tianyi Yan},
journal= {arXiv preprint arXiv:2306.11378},
year = {2023}
}