使用过参数化梯度下降的Toeplitz协方差矩阵估计

我们考虑在Toeplitz结构下的协方差估计。已有大量复杂的优化方法被开发用于在Toeplitz约束下最大化高斯对数似然。相比之下，深度学习的最新进展展示了简单梯度下降(GD)应用于过参数化模型的惊人能力。受此趋势启发，我们通过过参数化GD的视角重新审视Toeplitz协方差估计。我们将$P\times P$协方差建模为$K$个具有可学习参数的复正弦信号之和，并通过GD对其进行优化。我们表明，当$K = P$时，GD可能收敛到次优解。然而，适度的过参数化($K = 2P$或$4P$)始终能够从随机初始化实现全局收敛。我们进一步提出了一种加速GD变体，对幅度和频率使用不同的学习率。当频率固定且仅优化幅度时，我们证明优化景观是渐近良性的，任何驻点都能恢复真实协方差。最后，数值实验表明，过参数化GD在具有挑战性的设置中可以匹配或超越最先进方法的精度，同时保持简单和可扩展性。