基于自注意力的情境调制提高神经系统鉴别

卷积神经网络（CNN）已被证明是视觉皮层神经元的SOTA模型。视觉皮层的原视觉区神经元对由广泛的水平连接和反馈连接介导的情境信息敏感。标准CNN通过两种机制整合全局情境信息来建模情境调制：连续卷积和全连接读取层。在本文中，我们发现自注意力（SA）——一种非局部网络机制的实现——在两个关键指标上优于参数匹配的CNN：调谐曲线相关性和峰值调谐。我们引入峰值调谐作为评估模型捕获神经元顶部特征偏好的指标。我们对网络进行分解，以评估每种情境机制，揭示局部感受野的信息对 modeling overall tuning 最为重要，但边缘信息对于characterizing tuning peak至关重要。我们发现自注意力可以在逐步学习的情况下取代后置空间整合卷积，并且在全连接读取层的存在下进一步得到增强，表明这两种情境机制是互补的。最后，我们发现以递增方式对感受野学习和情境调制学习进行分解可能是学习边缘-中心相互作用的有效且稳健的机制。