具有马尔可夫数据的线性回归：基本极限与算法

我们研究最小二乘线性回归问题，其中数据点相互依赖且从一条马尔可夫链中采样。在不同噪声设定下，我们针对该问题基于底层马尔可夫链的混合时间 $\tau_{\mathsf{mix}}$ 建立了尖锐的信息论极小极大下界。我们的结果表明，一般而言，使用马尔可夫数据的优化严格难于使用独立数据的优化，且一个仅每 $\tilde{\Theta}(\tau_{\mathsf{mix}})$ 个样本（这些样本近似独立）才工作一次的平凡算法（SGD-DD）是极小极大最优的。事实上，它严格优于采用常数步长的流行随机梯度下降（Stochastic Gradient Descent, SGD）方法，而后者在独立数据设定的回归中本是极小极大最优的。除最坏情况分析外，我们探究实践中所见的结构化数据集（如高斯自回归动态）是否可容许更高效的优化方案。令人惊讶的是，即便在此具体而自然的设定下，常数步长的随机梯度下降（SGD）仍不优于 SGD-DD。相反，我们提出一种基于经验回放（experience replay，一种流行的强化学习技术）的算法，其达到了显著更优的误差率。我们改进的速率构成了首批结果之一：在某有趣的马尔可夫链上算法优于 SGD-DD，同时也为支持经验回放在实际中的使用提供了首批理论分析之一。