fMRI-PTE：用于多被试脑活动解码的大规模 fMRI 预训练 Transformer 编码器
计算机视觉与模式识别
2023-11-02 v1
摘要
从 fMRI 数据探索并解码脑活动是长期追求的目标，其潜在应用驱动于脑机接口、医学诊断和虚拟现实。以往方法主要关注个体被试分析，凸显了对更通用、可适应框架的需求，这也是我们工作的核心动机。本工作中，我们提出 fMRI-PTE，一种用于 fMRI 预训练的创新自编码器方法，重点解决因个体脑差异导致 fMRI 数据维度多变带来的挑战。我们的方法将 fMRI 信号转换为统一的二维表示，确保维度一致并保留独特脑活动模式。我们引入一种专为二维 fMRI 图像预训练设计的新颖学习策略，提升重建质量。fMRI-PTE 与图像生成器的适配性可生成具良好表征的 fMRI 特征，促进包括被试内和跨被试脑活动解码在内的多种下游任务。我们的贡献涵盖提出 fMRI-PTE、创新数据转换、高效训练、新颖学习策略以及方法的普适性。大量实验验证并支持我们的主张，为该领域进一步研究提供有前景的基础。
引用
@article{arxiv.2311.00342,
title = {fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding},
author = {Xuelin Qian and Yun Wang and Jingyang Huo and Jianfeng Feng and Yanwei Fu},
journal= {arXiv preprint arXiv:2311.00342},
year = {2023}
}