表示维数预测人工智能模型与人脑对齐及其泛化能力
机器学习
2026-02-02 v1
摘要
最近的研究发现，泛化能力更强的神经网络在不同架构和训练范式之间表现出更高的表征对齐程度。本文进一步表明，泛化能力更强的模型也与人类神经活动更一致。此外，泛化性能、模型-模型对齐以及模型-大脑对齐之间存在显著的相关性。我们进一步表明，这些关系可以由学习表示的一个几何属性来解释，即嵌入的局部内在维数。局部维数较低的模型在模型-模型对齐、模型-大脑对齐以及更好的泛化方面表现更为一致，而全局维数度量未能捕捉到这些效应。最后，我们发现，增加模型容量和训练数据规模会系统性地降低局部内在维数，为规模化带来的好处提供了几何解释。总之，本文确定局部内在维数作为人工与生物系统表征收敛统一描述符。
引用
@article{arxiv.2601.22722,
title = {Local Intrinsic Dimension of Representations Predicts Alignment and Generalization in AI Models and Human Brain},
author = {Junjie Yu and Wenxiao Ma and Chen Wei and Jianyu Zhang and Haotian Deng and Zihan Deng and Quanying Liu},
journal= {arXiv preprint arXiv:2601.22722},
year = {2026}
}