神经网络难以学习生命游戏
机器学习
2020-09-04 v1 机器学习
摘要
改进神经网络学习能力的努力大多集中于优化方法的作用而非权重初始化。然而，近期研究结果表明，神经网络依赖于称为“彩票票”的子网络的幸运随机初始权重，这些子网络能快速收敛到解。为探究权重初始化如何影响性能，我们考察了经过训练以预测二维元胞自动机康威生命游戏 n 步的小卷积网络，该更新规则可在 2n+1 层卷积网络中高效实现。我们发现，以此架构训练于该任务的网络很少收敛。相反，网络需要显著更多的参数才能稳定收敛。此外，近极小架构对参数的微小变化敏感：改变单个权重的符号就可能导致网络无法学习。最后，我们观察到一临界值 d_0，使得用存活概率为 d_0 的元胞样本训练极小网络可大幅提高收敛到解的机会。我们得出结论：训练卷积神经网络学习由生命游戏 n 步所表示的输入/输出函数，展现出彩票票假设所预测的诸多特征，即学习该函数所需的网络规模常显著大于实现该函数所需的极小网络。
引用
@article{arxiv.2009.01398,
title = {It's Hard for Neural Networks To Learn the Game of Life},
author = {Jacob M. Springer and Garrett T. Kenyon},
journal= {arXiv preprint arXiv:2009.01398},
year = {2020}
}
备注
12 pages, 6 figures