随机神经网络的表征相异度度量空间
机器学习
2023-02-07 v2 神经元与认知
摘要
量化神经表征之间的相似性——例如隐藏层激活向量——是深度学习和神经科学研究中一个长期存在的问题。现有方法比较确定性响应（例如缺乏随机层的人工网络）或平均响应（例如生物数据中的试次平均放电率）。然而，这些确定性表征相似性度量忽略了噪声的尺度和几何结构，而这两者都在神经计算中扮演重要角色。为纠正这一点，我们将先前提出的形状度量（Williams 等人 2021）推广以量化随机表征之间的差异。这些新距离满足三角不等式，因此可用作许多监督和无监督分析的严格基础。利用这一新框架，我们发现定向视觉光栅和自然场景的神经生物学表征的随机几何分别类似于未训练和已训练的深度网络表征。此外，我们能够从其在随机（ versus 确定性）形状空间中的位置更准确地预测某些网络属性（例如训练超参数）。
引用
@article{arxiv.2211.11665,
title = {Representational dissimilarity metric spaces for stochastic neural networks},
author = {Lyndon R. Duong and Jingyang Zhou and Josue Nassar and Jules Berman and Jeroen Olieslagers and Alex H. Williams},
journal= {arXiv preprint arXiv:2211.11665},
year = {2023}
}
备注
Published as a conference paper at ICLR 2023