图灵机相对于电路与神经网络在 PAC 学习中的样本效率增益
机器学习
2022-08-25 v2
摘要
当前深度学习方法许多应用的一个隐患是对大规模数据的需求。Kolmogorov 复杂性结果建议的一种改进是，将最小描述长度原理应用于计算通用模型。我们研究了该方法原则上可带来的样本效率潜在增益。我们使用多项式时间图灵机来表示计算通用模型，并使用布尔电路来表示作用于有限精度数字的人工神经网络（ANNs）。我们的分析揭示了该问题与计算复杂性结果之间的直接联系。我们给出了将 MDL 应用于图灵机而非 ANNs 时样本效率潜在增益的下界与上界。我们的界依赖于待学习布尔函数的输入比特大小。此外，我们强调了电路复杂性中的经典开放问题与此界紧致性之间的密切关系。
引用
@article{arxiv.2103.12686,
title = {PAC-learning gains of Turing machines over circuits and neural networks},
author = {Brieuc Pinon and Raphaël Jungers and Jean-Charles Delvenne},
journal= {arXiv preprint arXiv:2103.12686},
year = {2022}
}