软匹配距离：一种捕捉单神经元调谐的神经网络表示度量
机器学习
2023-11-17 v1 神经与进化计算
机器学习
摘要
常见的神经表示（不）相似性度量被设计为对神经激活空间的旋转和反射不敏感。基于单个单元的调谐可能很重要的前提，近来人们有兴趣开发更严格的表示（不）相似性概念，要求跨网络逐个匹配神经元。当两个网络大小相同（即神经元数量相同）时，可通过在神经元索引置换上优化以最大化调谐曲线对齐来构造距离度量。然而，如何将该度量推广到测量不同大小网络之间的距离尚不清楚。在此，我们利用与最优传输理论的联系推导出一种基于“软”置换的自然推广。所得度量是对称的、满足三角不等式，并且可解释为两个经验分布之间的Wasserstein距离。此外，我们提出的度量避免了替代方法所遭受的反直觉结果，并捕捉到了旋转不变度量完全遗漏的关于神经表示的互补几何洞察。
引用
@article{arxiv.2311.09466,
title = {Soft Matching Distance: A metric on neural representations that captures single-neuron tuning},
author = {Meenakshi Khosla and Alex H. Williams},
journal= {arXiv preprint arXiv:2311.09466},
year = {2023}
}