知识至关重要：先验信息对优化的重要性

我们探讨了在神经网络中间层引入先验信息对学习任务的影响，该任务上所有最先进的机器学习算法测试均未能学习。我们的工作源于一个假设：人类通过某种形式的监督或指导（使用课程）从其他个体学习这类中间概念。我们进行的实验为这一假设提供了正面证据。在我们的实验中，一个双层MLP架构在一个包含64x64二值输入图像的数据集上训练，每张图像有三个精灵。最终任务是判断所有精灵是否相同，或者其中一个不同。精灵是五格骨牌俄罗斯方块形状，它们通过缩放和旋转变换放置在图像的不同位置。双层MLP的第一部分以每个位置是否存在精灵作为中间目标进行预训练，而第二部分将第一部分的输出作为输入，预测最终任务的二值事件。双层MLP架构仅需几万个样本就能完美学习该任务，而所有其他算法（包括无监督预训练，以及传统算法如SVM、决策树和Boosting）的表现都不比随机好。我们假设，当不进行中间预训练时，优化困难是由于两个高度非线性任务的组合。我们的发现也与受深度学习优化问题观察启发的文化学习假设一致，可能是由于有效的局部最小值。