用于自然图像重建的逆感受野注意力模型
神经元与认知
2025-01-07 v1
摘要
大脑中的视觉感知在很大程度上依赖于神经元感受野的组织结构。尽管已有大量研究描绘了感受野的编码原理，但大多数研究都受限于其基础假设。此外，虽然机器学习已成功用于从脑数据重建图像，但这种方法面临模型固有特征偏差以及大脑结构和功能复杂性等重大挑战。在本研究中，我们引入了一种逆感受野注意力(IRFA)模型，旨在以端到端的方式从神经生理数据重建自然图像。该方法旨在阐明视觉皮层的调谐特性和表征转换。IRFA 模型包含一个注意力机制，该机制为每个像素确定逆感受野，对跨视野和特征空间的神经元反应进行加权。该方法允许我们在空间和特征维度上检查刺激间神经元表征的动态变化。我们的结果显示，对自然数据的重建具有很高的准确性，且不依赖于预训练模型。值得注意的是，在猕猴 V1、V4 和 IT 区域训练的 IRF 模型在不同刺激下产生了显著一致的空间感受野，而神经元表征所选择性关注的特征则表现出显著差异。此外，我们提出了一种数据驱动的方法来探索不同视觉区域内的表征聚类，并提供了可检验的假设。
引用
@article{arxiv.2501.03051,
title = {Inverse receptive field attention for naturalistic image reconstruction from the brain},
author = {Lynn Le and Thirza Dado and Katja Seeliger and Paolo Papale and Antonio Lozano and Pieter Roelfsema and Yağmur Güçlütürk and Marcel van Gerven and Umut Güçlü},
journal= {arXiv preprint arXiv:2501.03051},
year = {2025}
}