深度神经网络中的类别学习：内部表示的信息内容与几何
机器学习
2025-11-27 v2 信息论
math.IT
神经元与认知
摘要
在人类和其他动物中，类别学习增强了对接近类别边界的刺激的区分能力。这种称为类别知觉的现象，也在经过分类任务训练的人工神经网络中被经验性地观察到。在先前基于神经科学数据的建模工作中，我们表明这种扩展/压缩是高效学习的必然结果。在此，我们将我们的理论框架扩展到人工网络。我们表明，最小化贝叶斯代价（交叉熵损失的均值）意味着最大化类别集合与决策层之前神经活动之间的互信息。考虑具有小维度潜在特征空间的结构化数据，我们表明最大化互信息意味着（i）寻找合适的投影空间，以及（ii）构建具有适当度量的神经表示。后者基于一个 Fisher 信息矩阵，该矩阵测量神经活动对投影空间变化的敏感性。最优学习使得该神经 Fisher 信息遵循特定类别的 Fisher 信息，后者测量类别成员资格的敏感性。因此，类别学习在决策边界附近引起神经空间的扩展。我们刻画了类别 Fisher 信息的性质，表明其特征向量给出了投影空间中每个点最具判别力的方向。我们发现，出乎意料的是，其极大值通常并不正好在类别边界上，而是在边界附近。考虑玩具模型和 MNIST 数据集，我们数值说明了学习后两个 Fisher 信息矩阵如何匹配，并基本上与类别边界对齐。最后，我们将我们的方法与信息瓶颈方法联系起来，并展示了贝叶斯代价的偏差-方差分解，其本身具有研究价值。
引用
@article{arxiv.2510.19021,
title = {Category learning in deep neural networks: Information content and geometry of internal representations},
author = {Laurent Bonnasse-Gahot and Jean-Pierre Nadal},
journal= {arXiv preprint arXiv:2510.19021},
year = {2025}
}