机器学习中的惰性、贫瘠高原与噪声

我们定义“惰性”来描述神经网络（经典或量子）中变分参数更新的大幅抑制。在量子情形下，对于随机化变分量子电路，这种抑制随量子比特数呈指数级增长。我们讨论了惰性与量子物理学家在\cite{mcclean2018barren}中针对梯度下降过程中损失函数景观平坦性所提出的量子机器学习“贫瘠高原”之间的区别。我们借助神经正切核理论，对这两种现象提出了新的理论理解。对于无测量噪声的理想量子电路，在具有大量可训练变分角的过参数化区域中，损失函数景观是复杂的。相反，在优化的随机起始点附近，存在大量足够好的局部极小值，它们可以最小化均方损失函数，此时我们仍有量子惰性，但没有贫瘠高原。然而，在有限的迭代次数以及量子控制和量子传感精度较低的情况下，这种复杂景观是不可见的。此外，我们通过假设直观的噪声模型来研究优化过程中噪声的影响，并表明变分量子算法在过参数化区域中具有噪声弹性。我们的工作将量子贫瘠高原的论断精确地重新表述为一个精度陈述，并在特定噪声模型中证明了该陈述的合理性，为近期变分量子算法注入了新的希望，并提供了与经典机器学习的理论联系。本文提供了关于量子贫瘠高原的概念性视角，并结合\cite{together}中的梯度下降动力学进行了讨论。