NT-ViT：面向 EEG 到 fMRI 合成的神经转码视觉Transformer
图像与视频处理
2024-09-19 v1 计算机视觉与模式识别
摘要
本文引入了神经转码视觉Transformer（\modelname），这是一种生成模型，旨在从同步的电脑神经图（EEG）数据估计高分辨功能磁共振成像(fMRI)。\modelname 的一个关键特征是其域匹配（DM）子模块，有效地将EEG 潜在表示与fMRI 体积表示对齐，从而提高模型的准确性和可靠性。与以往方法不同，\modelname 通过确保方法论的完整性和更高质量的重建，解决了图像保真度和可重复性方面的挑战。我们通过在两个基准数据集上的广泛评估展示了这一点；\modelname 在两种情况下均显著优于当前最先进的方法，例如在Oddball 数据集上实现了 降低的RMSE 和 提升的SSIM。还进行了消融研究，以洞察每个组件对模型总体有效性的贡献。这一发展对于减轻高分辨率脑成像通常伴随的时间和经济约束具有重要意义，有助于更快、更精确地诊断神经系统疾病。虽然它并非fMRI 的替代品，而是使此类成像更易于获取的一步，但我们相信它代表了临床实践和神经科学研究的关键性进步。代码地址为 \url{https://github.com/rom42pla/ntvit}。
引用
@article{arxiv.2409.11836,
title = {NT-ViT: Neural Transcoding Vision Transformers for EEG-to-fMRI Synthesis},
author = {Romeo Lanzino and Federico Fontana and Luigi Cinque and Francesco Scarcello and Atsuto Maki},
journal= {arXiv preprint arXiv:2409.11836},
year = {2024}
}
备注
ECCV24 Workshop on Synthetic Data for Computer Vision