稠密Hebbian神经网络：无监督学习的副本对称图景
无序系统与神经网络
2023-07-04 v2 机器学习
摘要
我们考虑在无监督下训练的稠密联想神经网络，并通过统计力学方法解析地以及通过蒙特卡洛模拟数值地研究其计算能力。特别地，我们获得了一个相图，总结了其作为训练数据集的质量与数量以及网络存储等控制函数参数的性能，该相图在大规模网络与无结构数据集极限下有效。此外，我们在统计力学中标准使用的宏观可观测量与机器学习中典型使用的损失函数之间建立了桥梁。作为技术注记，在解析方面，我们在Guerra插值内实现大偏差与稳定性分析以处理突触后电位中涉及的非高斯分布；而在计算对应方面，我们将Plefka近似插入蒙特卡洛方案中，以加速突触张量的评估，总体上获得了一种新颖且广泛的方法来研究一般神经网络。
引用
@article{arxiv.2211.14067,
title = {Dense Hebbian neural networks: a replica symmetric picture of unsupervised learning},
author = {Elena Agliari and Linda Albanese and Francesco Alemanno and Andrea Alessandrelli and Adriano Barra and Fosca Giannotti and Daniele Lotito and Dino Pedreschi},
journal= {arXiv preprint arXiv:2211.14067},
year = {2023}
}