通过Hellinger局部化实现从众多轨迹中 nearly instance-optimal 参数恢复

从时序相关数据中学习是现代机器学习的核心方面。然而，我们对序列学习的理解仍不完整，特别是在由大量独立时序随机过程实现的时间序列设置中。这种重要场景既反映了现代训练管道（如大型基础模型），也为在不依赖单轨迹情况下通常要求的混合假设的情况下学习提供了潜力。然而，仅已知最低-均方误差回归在依赖协变量情形下的实例最优界限；对于更通用的模型或损失函数，唯一广泛适用的保证是通过归约到i.i.d.学习，其中有效样本量仅按轨迹数目规模，或通过归约到现有的单轨迹结果，其中每个单独轨迹混合，有效样本量规模为数据预算减去混合时间。本文通过Hellinger局部化框架显著扩大了多轨迹情形下实例最优率的范围，这是一种用于最大似然估计的通用方法。我们的方法首先通过归约到i.i.d.学习控制路径测度层面的平方Hellinger距离，随后在参数空间中加权为轨迹Fisher信息的二次型进行局部化。这产生了在广泛条件下可实现的实例最优界限，规模为完整数据预算。我们在四个多样化案例中实现了该框架：简单Markov链混合、非高斯噪声下的依赖线性回归、具有非单调激活函数的广义线性模型以及线性注意力序列模型。在所有情况下，我们的界限几乎匹配来自渐近正态性的实例最优率，显著优于标准归约。