仿生感知机:通过集体学习打破壁垒
无序系统与神经网络
2024-07-02 v3 统计力学
机器学习
摘要
我们在教师-学生场景下刻画了 个耦合二值感知机在适当代价函数下的平衡性质,其具有与学生们权重间汉明距离成正比的显式铁磁耦合。与近期工作不同,我们分析了一个更一般的设定,其中存在影响每个学生泛化性能的热噪声。在非零温度区间,我们发现副本的耦合使相图向更小的 值方向弯曲:这表明在固定样本比例下,自由熵景观在具有完美泛化(即教师)的解附近变得更为平滑,使得如模拟退火等标准热更新算法能够轻易达到教师解,并避免像未复制情形那样陷入亚稳态,即便在推断相图中计算上 \textit{易解} 的区间也是如此。这些结果为近期猜想的、在足够多副本数下复制模拟退火(RSA)的贝叶斯最优性质提供了额外的解析与数值证据。从学习角度看,这些结果还表明多个学生协同工作(此处为审阅相同数据)能够显著更快且以更少样本学会同一规则,这一性质可在协作式与联邦学习背景下加以利用。
引用
@article{arxiv.2308.03743,
title = {The Copycat Perceptron: Smashing Barriers Through Collective Learning},
author = {Giovanni Catania and Aurélien Decelle and Beatriz Seoane},
journal= {arXiv preprint arXiv:2308.03743},
year = {2024}
}
备注
2 figures in the main, 5 figures in the appendix