慢混合、长记忆Markov过程中的平稳概率与转移概率

我们观察一个由未知的、平稳遍历的Markov过程（模型）在有限字母表$\mathcal{A}$上生成的、长度为$n$的样本。给定任何由$\mathcal{A}$中符号组成的字符串$\bf{w}$，我们希望估计$\bf{w}$之后符号的条件概率分布，以及$\bf{w}$的平稳概率。在此设定下使估计复杂化的两个不同问题是：(i)长记忆，以及(ii)即使只有一位记忆也可能发生的慢混合。在此设定下，任何一致估计量只能在所有遍历Markov模型类上逐点收敛。也就是说，给定任何估计量和任何样本量$n$，底层模型可能使得该估计量以高概率在大小为$n$的样本上表现不佳。但我们能否观察一个长度为$n$的样本并识别出估计是否可能准确？由于记忆是先验未知的，一种自然的方法是估计一个可能更粗糙的、记忆为$k_n=\mathcal{O}(\log n)$的模型。随着$n$增长，已知只要$k_n$的缩放关于$n$是次对数的，就存在最终几乎必然成立的逐点一致估计。在这里，我们想要的不是几乎必然收敛结果，而是利用长度为$n$的样本所能得到的最佳答案。结合通用压缩的结果与Aldous的耦合论证，我们获得了关于长度为$n$的样本（即使对于慢混合模型）的充分条件，以识别何时(i)条件概率的朴素估计和(ii)与平稳概率相关的估计是准确的；并且也界定了朴素估计与真实值之间的偏差。