时变优化问题的流式求解方法

本文研究具有形式为 $\sum_{t=1}^Tf(\mathbf{x}_{t-1},\mathbf{x}_t)$ 的目标函数的流式优化问题。我们特别关注第 $t$ 帧变量的解 $\hat{\mathbf{x}}_{t|T}$ 如何随 $T$ 的增加而变化。虽然增加 $T$ 并添加一个新的函数项和一组新的变量通常会改变所有地方的解，但我们给出了 $\hat{\mathbf{x}}_{t|T}$ 以线性速率收敛到极限点 $\mathbf{x}^*_t$（当 $T\rightarrow\infty$ 时）的条件。因此，我们能够为内存有限的算法推导出理论保证，表明将解更新限制在过去仅少量帧上几乎不会牺牲精度。受这些结果的启发，我们还提出了一种新的高效牛顿在线算法（NOA），它以固定的复杂度 $\mathcal{O}(3Bn^3)$ 更新解，与 $T$ 无关，其中 $B$ 对应于变量更新回溯到过去多远的帧数，$n$ 是单个块向量的大小。两个流式优化示例——非均匀采样在线重建和非齐次泊松强度估计——支持了理论结果，并展示了该算法如何在实践中使用。