从体素到像素再返回：基于 fMRI 的自然图像重建中的自监督方法
图像与视频处理
2021-06-11 v1 机器学习
神经元与认知
机器学习
摘要
从 fMRI 脑记录中重建所观察的图像是一项挑战。遗憾的是，获取足够的“标注”{图像, fMRI}对（即带有相应 fMRI 响应的图像）以覆盖自然图像的巨大空间，因诸多原因而难以实现。我们提出一种新方法，除稀缺的标注数据（训练对）外，还允许在未标注数据（即无 fMRI 记录的图像，以及无图像对应的 fMRI 记录）上训练 fMRI 到图像的重建网络。所提模型同时利用一个编码器网络（图像到 fMRI）和一个解码器网络（fMRI 到图像）。将这两个网络首尾相连（编码器-解码器与解码器-编码器）可利用两类未标注数据扩充训练。重要的是，它允许在未标注的测试 fMRI 数据上训练。这种自监督将重建网络适配于新的输入测试数据，尽管其与稀缺训练数据的统计分布存在偏差。
引用
@article{arxiv.1907.02431,
title = {From voxels to pixels and back: Self-supervision in natural-image reconstruction from fMRI},
author = {Roman Beliy and Guy Gaziv and Assaf Hoogi and Francesca Strappini and Tal Golan and Michal Irani},
journal= {arXiv preprint arXiv:1907.02431},
year = {2021}
}
备注
*First two authors contributed equally. NeurIPS 2019