持续学习的统计力学：变分原理与平均场势

人工通用智能的一个障碍在于对不同性质多任务的持续学习。近来，从机器学习与神经科学角度提出了各种启发式技巧，但缺乏统一的理论基础。本文关注二值权重单层与多层神经网络中的持续学习。为此提出变分贝叶斯学习设定，其中神经网络在场空间而非梯度定义不良的离散权重空间中训练，并且自然地引入了权重不确定性，进而在不同任务间调节突触资源。从物理视角，我们将变分持续学习转化为 Franz-Parisi 热力学势框架，其中先前任务知识同时作为先验与参考。于是，我们将二值感知机在教师-学生设定下的持续学习解释为 Franz-Parisi 势计算。学习性能可借助平均场序参量解析研究，其预测与随机梯度下降方法的数值实验一致。基于变分原理及隐藏层内部预激活的高斯场近似，我们还推导了考虑权重不确定的学习算法，其使用多层神经网络解决二值权重的持续学习，且优于当前可用的元可塑性算法。我们提出的原理性框架也联系到弹性权重巩固、权重不确定性调制学习以及受神经科学启发的元可塑性，为现实世界深度网络多任务学习提供了有理论依据的方法。