在测试集上训练？对 Spampinato 等人 [31] 的分析

最近一篇论文 [31] 声称能够对受试者观看 ImageNet 刺激时由 EEG 测量的脑加工进行分类，并利用从该加工导出的表示来构建新颖的物体分类器。该论文与一系列后续论文 [8, 15, 17, 20, 21, 30, 35] 一起，声称通过在若干计算机视觉任务（包括物体分类、迁移学习，以及利用通过 EEG 测量的脑源表示生成描绘人类感知与思维的图像）上取得极为成功的成果而革新了该领域。我们的新颖实验与分析表明，他们的结果关键依赖于其所使用的区组设计——即给定类别的所有刺激一同呈现——而在快速事件设计（不同类别的刺激随机混合呈现）下则失败。区组设计导致基于区组水平时间相关性的任意脑状态分类，这类相关性往往存在于所有 EEG 数据中，而非刺激相关活动。由于他们测试集中的每次试验都与对应训练集中的许多试验来自同一区组，其区组设计因而导致了在测试集上的隐蔽训练。这使得多篇已发表论文中基于该数据的所有后续分析失效，并令所有声称的结果受到质疑。我们进一步表明，使用随机码本构建的新颖物体分类器表现与使用该从 EEG 数据提取的表示构建的新颖物体分类器相当或更好，这表明其用从 EEG 数据提取的表示构建的分类器的性能并未从脑源表示中获得任何益处。我们的结果校准了所涉及任务的潜在难度，并警示反对与此相反的耸动且过度乐观但虚假的声称。