表示相似性的三角形：用于比较神经网络表示的多层次框架
机器学习
2026-01-27 v1 人工智能
摘要
比较神经网络表示对于理解和验证科学应用中的模型至关重要。然而，现有方法往往提供有限的视角。我们提出“表示相似性的三角形”框架，结合三种互补视角：静态表征相似性（CKA/Procrustes）、功能相似性（线性模式可达性或预测相似性）以及稀疏性相似性（对剪枝的鲁棒性）。我们使用两种测试集（ImageNetV2和CIFAR-10）对包括CNN、Vision Transformer和Vision-Language模型在内的多种模型进行分析。我们的初始发现表明：（1）架构家族是表征相似性的主要决定因素，形成不同簇；（2）CKA自相似性和任务准确率在剪枝过程中呈强相关，但准确率往往下降得更快；（3）对于某些模型对，剪枝似乎正规化化了表征，暴露出共享的计算核心。该框架提供了更全面的方法，用于评估模型是否在相似的内部机制上达成一致，为科学研究中的模型选择和分析提供了有用的工具。
引用
@article{arxiv.2601.17093,
title = {The Triangle of Similarity: A Multi-Faceted Framework for Comparing Neural Network Representations},
author = {Olha Sirikova and Alvin Chan},
journal= {arXiv preprint arXiv:2601.17093},
year = {2026}
}
备注
Accepted to AAAI 2026 Workshop on AI for Scientific Research (AI4Research)