数据集-学习对偶性与涌现临界性

在人工神经网络中，不可训练变量的激活动力学与可训练变量的学习动力学强耦合。在激活过程中，边界神经元（如输入神经元）被映射到体神经元（如隐藏神经元），而在学习过程中，体神经元和边界神经元都被映射到可训练变量（如权重和偏置）的变化。例如，在前馈神经网络中，前向传播是激活过程，反向传播是学习过程。我们表明，这两个映射的复合建立了不可训练边界变量（如数据集）的子空间与可训练变量的切子空间（即学习）之间的对偶映射。通常，数据集-学习对偶性是高维空间之间的复杂非线性映射。我们利用对偶性，通过一个处于学习平衡的玩具模型来研究临界性的涌现，即可训练变量波动的幂律分布。特别地，我们表明，即使数据集处于非临界状态，学习系统中也能涌现临界性，并且可以通过改变激活函数或损失函数来修改幂律分布。