面向机器学习的张量网络切空间梯度优化

深度机器学习模型基于梯度的优化方法存在梯度消失和爆炸问题,尤其当计算图变深时。本工作中,我们提出针对概率模型的切空间梯度优化(TSGO),以防止梯度消失或爆炸。其核心思想是保证变分参数与梯度之间的正交性。随后通过沿梯度方向旋转参数向量来实现优化。我们在张量网络(TN)机器学习中解释并验证了TSGO,其中TN将联合概率分布描述为希尔伯特空间中的归一化态$\left| \psi \right\rangle$。我们表明梯度可被限制在$\left\langle \psi \right.\left| \psi \right\rangle = 1$超球面的切空间中。与深度学习中用于控制学习率的额外自适应方法不同,TSGO的学习率由角度$\theta$自然确定为$\eta = \tan \theta$。我们的数值结果显示,与现成的Adam相比,TSGO具有更好的收敛性。