记忆神经网络的泛化性
机器学习
2024-11-04 v1 人工智能
摘要
神经网络记忆问题研究神经网络插值有限数据集的表达能力。尽管人们普遍认为记忆与使用过参数化模型时深度学习的强泛化性密切相关，但据我们所知，尚无关于记忆神经网络泛化性的理论研究。本文首次对该主题进行了理论分析。由于使用 i.i.d. 训练数据是学习算法可泛化的必要条件，因此在对数据分布施加温和条件下，发展了记忆及其对 i.i.d. 数据集的泛化理论。首先，给出了构造记忆神经网络的算法，这些网络具有最少的参数数量，甚至具有常数数量的参数。其次，我们证明，为了使记忆网络具有泛化性，网络宽度必须至少等于数据维度，这意味着具有最优参数数量的现有记忆网络不可泛化。第三，给出了通用记忆算法的样本复杂度下界以及具有常数参数数量的记忆算法的精确样本复杂度。还表明，存在某些数据分布，为了对这些分布泛化，记忆网络必须具有随数据维度指数增长的参数数量。最后，当训练样本数量大于数据分布的高效记忆样本复杂度时，给出了一个高效且可泛化的记忆算法。
引用
@article{arxiv.2411.00372,
title = {Generalizability of Memorization Neural Networks},
author = {Lijia Yu and Xiao-Shan Gao and Lijun Zhang and Yibo Miao},
journal= {arXiv preprint arXiv:2411.00372},
year = {2024}
}