直接搞定：马尔可夫序列中缺失质量的近最优估计

我们研究估计平稳质量——也称为 unigram 质量——的问题，该质量在离散时间遍历马尔可夫链的单条轨迹中缺失。该问题有多种应用——例如，估计平稳缺失质量对于在序列模型中准确平滑概率估计至关重要。虽然 20 世纪 50 年代提出的经典 Good--Turing 估计量对独立同分布（i.i.d.）数据具有吸引人的性质，但已知其在马尔可夫环境下是有偏的，且其他启发式估计量并未配备理论保证。在状态空间大小可能远大于轨迹长度 $n$ 的一般环境下，我们开发了一种线性运行时间的估计量，称为 Windowed Good--Turing (WingIt)，并证明其风险以 $\widetilde{O}(\mathsf{T_{mix}}/n)$ 衰减，其中 $\mathsf{T_{mix}}$ 表示链在总变差距离下的混合时间。值得注意的是，该速率与状态空间大小无关，并且在 $n / \mathsf{T_{mix}}$ 的对数因子范围内是极小化极大的。我们还给出了缺失质量随机变量方差的上界，这可能具有独立的意义。我们将估计量扩展至近似分配给轨迹中以小频率出现元素的平稳质量。最后，我们在规范马尔可夫链的模拟和从自然语言文本构建的序列上证明了我们估计量的有效性。