深度学习预测人类大脑对增强和语义新颖视觉刺激物反应的可塑性分析
计算机视觉与模式识别
2024-10-08 v1 人工智能
人机交互
摘要
本工作旨在调查基于神经网络的方法作为探索图像增强技术对视觉皮层激活影响的框架的可靠性和实用性。我们准备了一套来自2023年Algonauts项目挑战中前十名方法中精选的脑编码模型。我们分析了这些模型预测各种图像增强技术对神经反应能力。鉴于由于脑成像程序的高成本无法获取实际数据，我们的调查建立在一系列实验基础上。具体而言，我们分析了脑编码器估计特定增强（针对对象，即人脸和单词）对神经反应的能力，这些增强已知影响特定区域。此外，我们研究了针对训练期未见对象的激活预测，探索语义超出分布刺激物的影响。我们为构成该框架模型的可塑性提供了相关证据，该框架在识别给定任务的最佳视觉增强滤波器、模型驱动的设计策略以及AR和VR应用方面表现有前景。
引用
@article{arxiv.2410.04497,
title = {Generalizability analysis of deep learning predictions of human brain responses to augmented and semantically novel visual stimuli},
author = {Valentyn Piskovskyi and Riccardo Chimisso and Sabrina Patania and Tom Foulsham and Giuseppe Vizzari and Dimitri Ognibene},
journal= {arXiv preprint arXiv:2410.04497},
year = {2024}
}