参数对称性可能统一深度学习理论

现代大型人工智能系统的学习动态是分层的，通常以类似于物理系统中观察到的相变的突变性、质变性转变为特征。虽然这些现象有望揭示神经网络和语言模型背后的机制，但现有的理论仍然零散，只针对特定情况。在这篇立场论文中，我们主张参数对称性这一研究方向在统一这些零散理论方面起着关键作用。这一立场基于该方向的一个核心假设：参数对称性破缺与恢复是人工智能模型分层学习行为的统一机制。我们综合了先前的观察和理论，论证这一研究方向可能导向对神经网络中三个不同层次——学习动态、模型复杂度和表征形成——的统一理解。通过连接这些层次，我们的立场论文将对称性——理论物理学的基石——提升为现代人工智能中一个潜在的基本原理。