MindSet: Vision：在关键心理学实验上测试 DNN 的工具箱
计算机视觉与模式识别
2026-03-27 v2 人工智能
摘要
为评估深度神经网络（DNN）与人类视觉之间的对齐程度，已开发出多种基准测试。在几乎所有情况下，这些基准测试都是观测性的，即它们由对自然图像的行为和大脑响应组成，而这些图像并未经过操纵以检验关于 DNN 或人类如何感知和识别物体的假设。在此，我们介绍工具箱 \textit{MindSet: Vision}，它由一系列图像数据集及相关脚本组成，旨在测试 DNN 在 30 项心理学发现上的表现。在所有实验条件下，刺激均经过系统性操纵，以检验关于人类视觉感知和物体识别的特定假设。除了提供预生成的图像数据集外，我们还提供了重新生成这些数据集的代码，提供了许多可配置参数，极大地扩展了数据集在不同研究语境下的通用性；同时提供了代码以利用三种不同方法（相似性判断、分布外分类和解码器方法）在这些图像数据集上测试 DNN，可通过 https://github.com/MindSetVision/MindSetVision 访问。为了说明这些数据集对开发更优的人类视觉 DNN 模型所构成的挑战，我们在该工具箱包含的一系列数据集上测试了多个模型。
引用
@article{arxiv.2404.05290,
title = {MindSet: Vision. A toolbox for testing DNNs on key psychological experiments},
author = {Valerio Biscione and Milton L. Montero and Marin Dujmovic and Gaurav Malhotra and Dong Yin and Guillermo Puebla and Federico Adolfi and Rachel F. Heaton and John E. Hummel and Benjamin D. Evans and Karim Habashy and Jeffrey S. Bowers},
journal= {arXiv preprint arXiv:2404.05290},
year = {2026}
}
备注
34 pages, 12 figures. Updated version with additional model evaluations