用于从大脑活动重构感知面孔的双流 GAN 模型
计算机视觉与模式识别
2025-01-03 v3
摘要
面孔在人类视觉感知中起着重要作用，从大脑活动中重构感知面孔具有挑战性，因为其难以提取高层特征并保持多种面孔属性（如表情、身份、性别等）的一致性。在本研究中，我们提出了一种新颖的重构框架，称为 Double-Flow GAN，它可以增强判别器的能力，并处理来自某些对生成器而言过于简单的领域的图像不平衡问题。我们还设计了一个预训练过程，使用从图像中提取的特征作为条件，使得在更大的纯图像数据集中从 fMRI 预训练条件重构模型成为可能。此外，我们开发了一个简单的 fMRI 对齐预训练模型，以缓解由于不同受试者之间大脑结构差异导致的跨受试者重构问题。我们使用提出的方法和传统重构模型进行了实验。结果表明，所提出的方法在准确重构多种面孔属性方面具有重要意义，优于以前的重构模型，并展现出 SOTA 的重构能力。
引用
@article{arxiv.2312.07478,
title = {Double-Flow GAN model for the reconstruction of perceived faces from brain activities},
author = {Zihao Wang and Jing Zhao and Xuetong Ding and Hui Zhang},
journal= {arXiv preprint arXiv:2312.07478},
year = {2025}
}