关于 1/n 神经表示与鲁棒性
机器学习
2020-12-10 v1
摘要
理解神经网络中表示的本质是神经科学与机器学习共同的目标。因此令人振奋的是，两个领域不仅汇聚于共同的问题，也汇聚于相似的方法。这些领域中的一个紧迫问题是理解神经网络所用表示的结构如何影响其泛化能力以及对扰动的鲁棒性。在这项工作中，我们通过将关于小鼠 V1 中神经表示的协方差谱的实验结果（Stringer 等）与人工神经网络并列来研究后者。我们使用对抗鲁棒性来探查 Stringer 等人关于 1/n 协方差谱因果作用的理论。我们实证研究了此类神经编码在神经网络中所赋予的好处，并阐明其在多层架构中的作用。我们的结果表明，将实验观察到的结构强加于人工神经网络使其对对抗攻击更具鲁棒性。此外，我们的发现通过展示中间表示的作用，补充了将宽神经网络与核方法相关联的现有理论。
引用
@article{arxiv.2012.04729,
title = {On 1/n neural representation and robustness},
author = {Josue Nassar and Piotr Aleksander Sokol and SueYeon Chung and Kenneth D. Harris and Il Memming Park},
journal= {arXiv preprint arXiv:2012.04729},
year = {2020}
}