基于时间加权的流式数据时变优化

经典优化理论处理的是固定、时不变的目标函数。然而，时变优化已成为动态环境中决策的一个重要主题。在本工作中，我们从时变优化的视角研究通过时间加权学习流式数据的问题。不同于以往关注通用公式的工作，我们引入一种结构化的、基于权重的公式，显式地捕捉时变目标函数源自流式数据的特性；在每个时间步，一个代理人旨在最小化过去所有数据样本的加权平均损失。我们关注两种特定的加权策略：（1）均匀权重，对所有样本平等对待；（2）折扣权重，对较旧的数据进行几何衰减。对于这两种方案，在梯度下降（GD）更新下，我们推导了对“跟踪误差”（TE）的紧密上界，即给定时间步下模型参数与时变最优值之间的偏差。我们表明，在均匀加权下，TE随时间呈 $\mathcal{O}(1/t)$ 的衰减率渐进消失，而折扣加权则导致非零误差底峰，该底峰由折扣因子和在每个时间步执行的梯度更新次数控制。我们的理论发现通过数值仿真得到验证。