神经群体几何揭示随机性在鲁棒感知中的作用
神经元与认知
2021-11-16 v1 机器学习
神经与进化计算
摘要
对抗样本常被神经科学家与机器学习研究者引为计算模型偏离生物感官系统的例证。近期工作提出向视觉神经网络中添加受生物启发的组件，以改进其对抗鲁棒性。一个出人意料地能有效降低对抗脆弱性的组件是响应随机性，类似于生物神经元所表现出的那样。在此，我们利用计算神经科学中近期发展的几何技术，研究对抗扰动如何影响标准网络、对抗训练网络以及受生物启发的随机网络的内部表征。我们发现每类网络具有独特的几何特征，揭示了实现鲁棒表征的不同机制。接下来，我们将这些结果推广至听觉领域，表明神经随机性同样使听觉模型对对抗扰动更为鲁棒。对随机网络的几何分析揭示了干净刺激与对抗扰动刺激表征之间的重叠，并定量证明随机性的竞争性几何效应调节了对抗性能与干净性能之间的权衡。我们的结果阐明了对抗训练网络与随机网络所利用的鲁棒感知策略，并有助于解释随机性为何有益于机器与生物计算。
引用
@article{arxiv.2111.06979,
title = {Neural Population Geometry Reveals the Role of Stochasticity in Robust Perception},
author = {Joel Dapello and Jenelle Feather and Hang Le and Tiago Marques and David D. Cox and Josh H. McDermott and James J. DiCarlo and SueYeon Chung},
journal= {arXiv preprint arXiv:2111.06979},
year = {2021}
}
备注
35th Conference on Neural Information Processing Systems (NeurIPS 2021)