基于DNN编码模型的Ventral视觉皮层外分布泛化能力基准测试
信号处理
2024-06-26 v1 人工智能
摘要
我们对DNN编码模型在预测视觉皮层神经元反应时的泛化能力进行了表征。我们收集了MacaqueITBench数据集，这是一个来自macaque inferior temporal（IT）皮层对超过30万张图片作出反应的神经群体数据集，包含8233个独特的自然图片，这些图片在109个session中呈现给七只猴子。使用MacaqueITBench，我们研究了分布偏移对预测神经活性模型的影响，通过将图片划分为Out-Of-Distribution（OOD）训练和测试分割来进行分析。OOD分割包括多种不同的图像可计算类型，包括图像对比度、色调、强度、温度和饱和度。与在分布内测试图片上的性能相比——即这些模型通常评估的方式——模型在预测外分布图片的神经反应方面表现更差，仅保留了约20%的分布内测试图片性能。OOD偏移下的泛化性能可以用一个简单的图像相似性度量来很好地解释——使用预训练对象识别模型提取的图像表示之间的余弦距离是神经可预测性在不同分布偏移下的强预测器。图片、神经放电率记录以及计算基准数据均公开托管在：https://bit.ly/3zeutVd。
引用
@article{arxiv.2406.16935,
title = {Benchmarking Out-of-Distribution Generalization Capabilities of DNN-based Encoding Models for the Ventral Visual Cortex},
author = {Spandan Madan and Will Xiao and Mingran Cao and Hanspeter Pfister and Margaret Livingstone and Gabriel Kreiman},
journal= {arXiv preprint arXiv:2406.16935},
year = {2024}
}