奇偶校验函数课程学习的数学模型
机器学习
2024-04-24 v2
摘要
课程学习（CL）——使用按有意义顺序生成和呈现的样本进行训练——大约在十年前被引入机器学习领域。尽管 CL 已在经验上被广泛使用和分析，但对其优势的数学解释却极少。我们提出了一种用于学习二进制串上 d 位 k-奇偶校验（k-parities）函数类的 CL 模型，该模型采用随机梯度下降（SGD）训练的神经网络。我们表明，与在均匀分布下学习相比，明智地选择涉及两个或更多乘积分布的训练样本，可显著降低学习此类函数类的计算成本。此外，我们表明对于另一类函数——即“汉明混合（Hamming mixtures）”——涉及有界数量乘积分布的 CL 策略并无益处。
引用
@article{arxiv.2301.13833,
title = {A Mathematical Model for Curriculum Learning for Parities},
author = {Elisabetta Cornacchia and Elchanan Mossel},
journal= {arXiv preprint arXiv:2301.13833},
year = {2024}
}