神经网络中高维解流形：来自统计物理的见解

在这些教学笔记中，我回顾了神经网络的统计力学方法，聚焦于在分类设定下具有二值与连续权重的感知机架构这一范例。我将回顾基于副本方法的Gardner方法，以及存储设定中SAT/UNSAT相变的推导。随后，我讨论近期一些工作，它们揭示了零训练误差配置如何几何排布，以及这种排布如何随训练集规模增大而改变。我还阐释如何解析地探索解空间的不同区域，以及如何刻画解邻域的景观。我给出证据说明，在二值权重模型中，算法困难源于延伸至极远距离的簇状解区域的消失。最后，我展示了通过对解之间的线性模式连通性研究如何揭示解流形的平均形状。