用于辅助人工智能关键挑战的幂律标度

幂律标度是临界现象中的核心概念，被发现对深度学习有用：在手写数字样本上优化后的测试误差随数据库规模以幂律收敛至零。对于仅用一个训练轮次进行快速决策的情形，每个样本仅向训练好的网络呈现一次，幂律指数随隐藏层数量增加而增大。对于最大的数据集，所获得的测试误差估计在接近大轮次下 SOTA 算法的水平。幂律标度有助于解决当前人工智能应用中的关键挑战，并促进为实现期望测试精度而进行的先验数据集规模估计。它建立了衡量训练复杂度的基准以及机器学习任务与算法的定量层级。