BrainBits：生成式重建方法究竟使用了多少大脑信息？

在评估刺激重建结果时，人们容易假设更高的文本和图像生成保真度是由于对大脑理解的改善或从神经记录中提取信号能力的提升。然而，实际上，新的重建方法可能出于至少三个其他原因而提升性能：更多地了解刺激的分布、更擅长一般性地重建文本或图像，或利用当前图像和/或文本评估指标的弱点。我们区分了这些其他因素与有效利用神经记录对重建的贡献。我们引入了BrainBits——一种利用瓶颈来量化从神经记录中提取的信号量，这些信号实际上对于重现方法的重建保真度是必要的。我们发现，产生高保真度重建所需的大脑信息量惊人地少。在这些情况下，很明显，方法的生成模型的先验如此强大，以至于其输出远远超出了所解码的神经信号。鉴于从大脑中提取信号和构建更强大的生成模型都可以独立地改善重建，提升后者可能会让我们误以为在改善前者。我们建议方法应报告方法特定的随机基线、重建上限以及随瓶颈大小变化的性能曲线，最终目标是更多地利用神经记录。