MindShot：基于跨主体先验传递与频域知识蒸馏的少样本脑解码框架
计算机视觉与模式识别
2025-11-24 v2
摘要
旨在从脑信号重建视觉刺激，脑解码最近在利用功能性磁共振成像（fMRI）方面取得了显著进展。然而，它仍面临着显著的个体差异和高数据收集成本等挑战。为简化这些问题，大多数方法采用以主体为单位的模型范式，但这严重限制了其应用。本文设计了一个专为潜在临床场景而设的少样本脑解码设置，并提出一种新颖的两阶段解码框架，称为MindShot，包括多主体预训练（Multi-Subject Pretraining, MSP）阶段和傅里叶基于跨主体知识蒸馏（Fourier-based cross-subject Knowledge Distillation, FKD）阶段。首先，构建一个基于多模态对比学习的MSP框架，以挖掘跨主体先验。其次，提出FKD以减少个体间差异，同时提高对新个体的解码适应性。我们的方法在最大数据集上实现了高语义保真度的视觉重建，并有潜力将扫描时间缩短最高可达99%。显著的是，MindShot仅使用1.8%的fMRI-图像对即可实现83.6%的CLIP准确率，甚至超过了在整个NSD数据集上训练的77.4%准确率。这使得训练需要较少数据的大规模脑解码框架变得可行，促进了实际应用。代码已公开于 https://github.com/JSinBUPT/MindShot。
引用
@article{arxiv.2405.15278,
title = {MindShot: A Few-Shot Brain Decoding Framework via Transferring Cross-Subject Prior and Distilling Frequency Domain Knowledge},
author = {Shuai Jiang and Zhu Meng and Haiwen Li and Delong Liu and Fei Su and Zhicheng Zhao},
journal= {arXiv preprint arXiv:2405.15278},
year = {2025}
}
备注
Accepted by KBS