基于不精确表征的跨被试脑心智解码
计算机视觉与模式识别
2025-07-28 v1
摘要
借助预训练生成模型，从 fMRI 信号解码刺激图像取得了进展。然而，由于认知变异性和被试特异性差异，现有方法在跨被试映射方面存在困难。这一挑战源于序列误差，即单向映射生成部分不精确的表征，这些表征输入扩散模型后会累积误差并降低重建保真度。为解决此问题，我们提出了双向自编码器交织框架，用于精确的解码表征预测。该方法通过 Subject Bias Modulation Module 统一多个被试，同时利用双向映射更好地捕捉数据分布，以实现精确的表征预测。为了在将表征解码为刺激图像时进一步提升保真度，我们引入了 Semantic Refinement Module 以改善语义表征，并引入 Visual Coherence Module 以减轻不精确视觉表征的影响。结合 ControlNet 和 Stable Diffusion，我们的方法在基准数据集上的定性和定量评估中均优于 SOTA 方法。此外，我们的框架对新被试表现出强大的适应性，仅需极少训练样本。
引用
@article{arxiv.2507.19071,
title = {Cross-Subject Mind Decoding from Inaccurate Representations},
author = {Yangyang Xu and Bangzhen Liu and Wenqi Shao and Yong Du and Shengfeng He and Tingting Zhu},
journal= {arXiv preprint arXiv:2507.19071},
year = {2025}
}