探索跨模型神经元相关性以预测模型性能与泛化能力
机器学习
2026-03-02 v9
摘要
随着人工智能（AI）模型越来越多地被集成到关键系统中，建立 AI 可信性的稳健框架的需求日益迫切。虽然协作努力已为这样的框架建立了概念基础，但在开发评估 AI 模型质量和性能的具体的、技术上稳健的方法方面仍存在显著差距。本文提出了一种新颖的方法，通过计算神经网络之间的相关性来评估新训练模型基于另一个已知模型的性能。所提方法通过判断一个网络中的每个神经元是否在另一个网络中存在产生类似输出的神经元来评估相关性。该方法对内存效率具有启示意义，允许在网络之间存在高相关性时使用较小的网络。在五个全连接网络和基于 MNIST 系列数据集训练的两层 CNN 上进行的实验表明，与 CNN 更高的对齐度对应更强的性能和在黑盒迁移攻击下更小的退化。在 ImageNet 预训练的 ResNets 和 DenseNets 上，部分层比较恢复了直观的架构亲和性，表明该过程能以合理近似进行扩展。这些结果支持表征对齐作为一种轻量级兼容性检查，补充了标准的准确率、校准和鲁棒性评估，并实现了对新模型的外部早期验证。代码可在 https://github.com/aheldis/Cross-model-Correlation.git 获取。
引用
@article{arxiv.2408.08448,
title = {Exploring Cross-model Neuronal Correlations in the Context of Predicting Model Performance and Generalizability},
author = {Haniyeh Ehsani Oskouie and Sajjad Ghiasvand and Lionel Levine and Majid Sarrafzadeh},
journal= {arXiv preprint arXiv:2408.08448},
year = {2026}
}