为你（视觉）思绪付一便士：基于脑活动的自然电影自监督重建
计算机视觉与模式识别
2022-06-14 v3 人工智能
机器学习
摘要
从fMRI脑记录中重建自然视频非常具有挑战性，主要有两个原因：(i) 由于fMRI数据获取困难，我们只有有限的监督样本，不足以覆盖自然视频的巨大空间；以及(ii) fMRI记录的时间分辨率远低于自然视频的帧率。本文提出一种用于自然电影重建的自监督方法。通过对自然视频的编码-解码施加循环一致性，我们可以：(i) 利用训练视频的完整帧率，而不限于与fMRI记录对应的片段；(ii) 利用海量的外部自然视频，这些视频是受试者在fMRI机器内从未看过的。这些使得可用训练数据增加数个数量级，为解码网络引入自然视频先验以及时间相干性。我们的方法显著优于竞争方法，因为那些方法仅在有限的监督数据上训练。我们进一步引入了一种新颖且简单的自然视频时间先验，当其被融入我们的fMRI解码器后，使我们能够以高达原始fMRI采样率8倍的高帧率(HFR)重建视频。
引用
@article{arxiv.2206.03544,
title = {A Penny for Your (visual) Thoughts: Self-Supervised Reconstruction of Natural Movies from Brain Activity},
author = {Ganit Kupershmidt and Roman Beliy and Guy Gaziv and Michal Irani},
journal= {arXiv preprint arXiv:2206.03544},
year = {2022}
}