神经网络在低复杂度数据上的泛化
机器学习
2026-03-03 v6 人工智能
统计理论
机器学习
统计理论
摘要
我们证明了具有ReLU激活函数的前馈神经网络在低复杂度数据上的泛化能力。具体而言，给定来自简单编程语言的独立同分布(i.i.d.)数据，能够插值这些数据的最小描述长度(MDL)前馈神经网络将以高概率进行泛化。我们定义了该简单编程语言以及此类网络的描述长度概念。我们提供了若干基本计算任务的示例，如检查自然数的素数性。在素数测试方面， our 定理表明如下：假设我们从1到N的范围内均匀随机抽取n个样本。对于每个样本x_i，若x_i为素数则y_i=1，否则y_i=0。则插值MDL网络以概率1-O((ln N)/n)准确地判断新抽取的数是否为素数。请注意，该网络并非专为检测素数而设计；最小描述学习发现了一个能够实现此功能的网络。对噪声数据的扩展也被讨论，表明MDL神经网络插值器可以显示温和的过拟合现象。
引用
@article{arxiv.2409.12446,
title = {Neural Networks Generalize on Low Complexity Data},
author = {Sourav Chatterjee and Timothy Sudijono},
journal= {arXiv preprint arXiv:2409.12446},
year = {2026}
}
备注
37 pages. Small corrections made