课程学习在混合输入奇偶目标上的可证明优势
机器学习
2023-06-30 v1 机器学习
摘要
实验结果表明，课程学习（即先呈现较简单的样本再呈现较复杂的样本）可提升学习效率。近期一些理论结果也表明，改变采样分布可帮助神经网络学习奇偶性，但形式化结果仅适用于大学习率和单步论证。在此，我们在常见样本分布上以标准（有界）学习率展示了训练步数上的分离结果：若数据分布为稀疏与稠密输入的混合，则存在一种情形，其中采用先使用稀疏样本的课程的带噪声GD（或SGD）算法训练的两层ReLU神经网络可学习足够大阶数的奇偶性，而任何可能更宽或更深的完全连接神经网络在无需额外步数的情况下通过带噪声GD对无序样本训练则无法学习。我们还提供了支持该理论结果特定情形之外定性分离的实验结果。
引用
@article{arxiv.2306.16921,
title = {Provable Advantage of Curriculum Learning on Parity Targets with Mixed Inputs},
author = {Emmanuel Abbe and Elisabetta Cornacchia and Aryo Lotfi},
journal= {arXiv preprint arXiv:2306.16921},
year = {2023}
}
备注
34 pages, 8 figures