预测大脑对真实图片响应的深度学习架构探索与比较
神经元与认知
2023-09-20 v1 人工智能
计算机视觉与模式识别
人机交互
机器学习
信号处理
摘要
我们呈现了为参加 Algonauts Challenge 2023 而预测大脑对真实图像响应的机器学习架构探索。我们的研究涉及对多种预训练模型的广泛实验。起初，我们采用较简单模型预测大脑活动，但逐渐引入利用可用数据及大规模预训练模型所生成嵌入的更复杂架构。我们遇到了与机器学习问题相关的典型困难，例如正则化与过拟合，以及挑战特有的问题，如难以组合多种输入编码，以及输出的高维性、结构不清与含噪性质。为克服这些问题，我们测试了基于单边缘三维位置的、多感兴趣区域（ROI）及半球预测器模型，但发现采用多个简单模型、各专用于每个被试大脑各半球的每个 ROI，效果最佳——即以 CLIP 生成的图片嵌入为输入的单层全连接线性层。尽管我们超越了挑战基线，我们的结果仍不足以建立与数据的稳健关联。
引用
@article{arxiv.2309.09983,
title = {Exploration and Comparison of Deep Learning Architectures to Predict Brain Response to Realistic Pictures},
author = {Riccardo Chimisso and Sathya Buršić and Paolo Marocco and Giuseppe Vizzari and Dimitri Ognibene},
journal= {arXiv preprint arXiv:2309.09983},
year = {2023}
}
备注
Submitted to The Algonauts Project 2023 - Exploration and Comparison of Deep Learning Architectures to Predict Brain Response to Realistic Pictures - http://algonauts.csail.mit.edu/