随机神经网络集团中的结构涌现
机器学习
2025-05-16 v1 人工智能
摘要
随机性在数据科学和机器学习领域的许多应用中无处不在。惊人地，在由随机组件构成的系统中，往往会显示出看似确定性的涌现性全局行为，表现为从微观无序向宏观组织的转变。本文引入了一种用于研究随机分类器集团涌现行为的理论模型。我们认为，如果通过采用分类损失作为能量来定义的 Gibbs 测度对集团进行加权，则存在一种有限温度参数，使得分类相对于损失（或能量）最优。有趣的是，对于样本由高斯分布生成且标签通过教师感知器构建的情况， 我们在解析和数值实验中证明，这种最优温度既不取决于教师分类器（该分类器在学习问题的构造中是未知的），也不取决于随机分类器的数量，凸显了观察行为的普遍性。MNIST 数据集上的实验凸显了此现象在高质量、无噪声数据集中的相关性。最后，一种物理类比帮助我们阐明了所研究现象的自组织本质。
引用
@article{arxiv.2505.10331,
title = {Emergence of Structure in Ensembles of Random Neural Networks},
author = {Luca Muscarnera and Luigi Loreti and Giovanni Todeschini and Alessio Fumagalli and Francesco Regazzoni},
journal= {arXiv preprint arXiv:2505.10331},
year = {2025}
}