What Representational Similarity Measures Imply about Decodable Information
机器学习
2024-11-14 v1 人工智能
机器学习
摘要
神经响应编码了对多种下游任务有用的信息。理解这些系统的一种常见方法是构建回归模型或“解码器”，从神经响应中重建刺激特征。流行的神经网络相似性度量，如中心核对齐 (CKA)、典型相关分析 (CCA) 和 Procrustes 形状距离，并未明确利用这一视角，而是在比较表征时强调对正交或仿射变换的几何不变性。本文中，我们证明这些度量中的许多实际上可以从解码的角度等效地推导出来。具体而言，像 CKA 和 CCA 这样的度量量化了在一系列解码任务分布上最优线性读出之间的平均对齐程度。我们还证明，Procrustes 形状距离是这些最优线性读出之间距离的上界，并且对于参与率低的表征，其逆命题也成立。总体而言，我们的工作证明了神经表征的几何结构与线性解码信息能力之间的紧密联系。这一视角提出了衡量神经系统间相似性的新方法，并为现有度量提供了新颖、统一的解释。
引用
@article{arxiv.2411.08197,
title = {What Representational Similarity Measures Imply about Decodable Information},
author = {Sarah E. Harvey and David Lipshutz and Alex H. Williams},
journal= {arXiv preprint arXiv:2411.08197},
year = {2024}
}