稠密赫布神经网络：监督学习的副本对称图景
无序系统与神经网络
2023-08-16 v2 机器学习
摘要
我们考虑由教师训练（即带监督）的稠密联想神经网络，并通过自旋玻璃的统计力学进行解析研究，以及通过蒙特卡洛模拟进行数值研究，以分析其计算能力。特别地，我们获得了一个相图，总结了其性能随控制参数（如训练数据集的质量与数量、网络存储与噪声）的变化，该相图在大型网络规模与无结构数据集极限下成立：这些网络可工作于超存储机制（与浅层神经网络相比可处理海量模式）或超检测机制（与浅层神经网络相比可在禁阻的信噪比下执行模式识别）。以随机理论为参考框架，我们还在结构化数据集 MNist 与 Fashion MNist 上数值测试了这些网络所展现的学习、存储与检索能力。技术注记方面，在解析侧，我们在 Guerra 插值中实现大偏差与稳定性分析以处理突触后电位中涉及的非高斯分布；在计算侧，我们将 Plefka 近似插入蒙特卡洛方案以加速突触张量的评估，总体上获得了一种新颖且广泛的方法，以在一般情况下研究超越浅层极限的神经网络监督学习。
引用
@article{arxiv.2212.00606,
title = {Dense Hebbian neural networks: a replica symmetric picture of supervised learning},
author = {Elena Agliari and Linda Albanese and Francesco Alemanno and Andrea Alessandrelli and Adriano Barra and Fosca Giannotti and Daniele Lotito and Dino Pedreschi},
journal= {arXiv preprint arXiv:2212.00606},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2211.14067