稀疏与稠密双层神经网络的 mini-batch 尺寸相变

在人工神经网络训练中使用数据 mini-batch 如今已非常普遍。尽管其应用广泛，但定量解释最优 mini-batch 尺寸应大应小的理论尚属缺失。本工作对理解 mini-batch 尺寸在训练双层神经网络中的作用进行了系统性尝试。在教师-学生场景下，采用稀疏教师，并聚焦于不同复杂度的任务，我们量化了改变 mini-batch 尺寸 $m$ 的影响。我们发现学生的泛化性能常强烈依赖于 $m$，并可能在临界值 $m_c$ 处经历尖锐的相变：当 $m<m_c$ 时训练过程失败，而当 $m>m_c$ 时学生完美学习或很好地泛化教师。相变由统计力学中首次发现、后来在许多科学领域观察到的集体现象所诱发。在不同架构中通过调节 mini-batch 尺寸观察到相变，引发了关于该超参数在神经网络学习过程中作用的数个问题。