基于Nesterov加速 sketching 的在线Newton方法不确定性推断

可靠的流式数据决策需要对在线方法进行原则性的不确定性量化。虽然一阶方法可实现高效的迭代更新，但其不确定性推断程序仍需更新适当的（协方差）矩阵，导致 $O(d^2)$ 的时间复杂度和空间复杂度，并且对问题的病条件性和噪声异质性敏感。这一高成本的推断任务为更稳健的二阶方法提供了机会，但后者受限于求解Newton方程组的 $O(d^3)$ 复杂度。本文通过研究采用Hessian平均化的在线Newton方法，其中每个步骤的Newton方向使用带Nesterov加速的sketch-and-project求解器近似计算，实现与一阶方法相同的 $O(d^2)$ 复杂度。对于所提方法，我们量化了其不确定性来源于随机数据和随机化计算的两个方面。在标准光滑性和矩条件下，我们建立全局几乎sure收敛性，证明了最后迭代的渐近正态性，其限制协方差由Lyapunov方程刻画，并开发了具备非渐近收敛保证的全在线协方差估计器。我们还将所得不确定性量化与精确Newton方法以及不带Nesterov加速的sketch方法的不确定性联系起来。大量回归模型实验表明，所提方法在在线推断方面具有优势。