神经网络中同时泛化与记忆的规则与事实(RAF)模型
机器学习
2026-03-27 v1 无序系统与神经网络
机器学习
摘要
现代神经网络的一项关键能力是同时学习底层规则并记忆特定事实或例外。然而，对这种双重能力的理论理解仍然有限。我们引入了规则与事实（RAF）模型，一个最小可解设定，通过桥接学习统计物理中的两条经典研究线——用于泛化的教师-学生框架和用于记忆的Gardner风格容量分析——实现了对该现象的精确刻画。在RAF模型中，比例的训练标签由结构化教师规则生成，而比例由具有随机标签的非结构化事实组成。我们刻画了学习者在何时能够同时恢复底层规则（从而实现对新数据的泛化）并记忆非结构化示例。我们的结果量化了过参数化如何使这两个目标同时实现：充足的超额容量支持记忆，而正则化以及核函数或非线性的选择控制规则学习与记忆之间的容量分配。RAF模型为理解现代神经网络如何在存储罕见或不可压缩信息的同时推断结构提供了理论基础。
引用
@article{arxiv.2603.25579,
title = {The Rules-and-Facts Model for Simultaneous Generalization and Memorization in Neural Networks},
author = {Gabriele Farné and Fabrizio Boncoraglio and Lenka Zdeborová},
journal= {arXiv preprint arXiv:2603.25579},
year = {2026}
}