利用代理草图与缩放正则化对分布式二阶优化去偏

在分布式二阶优化中，一种标准策略是对许多局部估计取平均，每个估计基于数据的较小草图或批次。然而，每台机器上的局部估计通常相对于所有数据上的完整解是有偏的，这会限制平均的有效性。在此，我们引入一种对局部估计去偏的新技术，从而在分布式二阶方法的收敛速率上带来理论与实证上的改进。我们的技术包含两个新颖组件：（1）修改标准草图技术以获得我们称之为代理草图（surrogate sketch）的构造；（2）仔细缩放用于局部计算的全局正则化参数。我们的代理草图基于行列式点过程，这是一类可精确计算逆 Hessian 估计偏差的分布。基于此计算，我们表明，当所最小化目标带参数 $\lambda$ 的 $l_2$ 正则化、且各机器各获得大小为 $m$ 的草图时，为消除偏差，局部估计应使用由 $\lambda^{\prime}=\lambda\cdot(1-\frac{d_{\lambda}}{m})$ 给出的收缩正则化参数进行计算，其中 $d_{\lambda}$ 为 Hessian（或对于二次问题，数据矩阵）的 $\lambda$-有效维数。