Alpha-NML 通用预测器
信息论
2024-12-20 v4 math.IT
摘要
受通用预测中采用的经典后悔度量与 Rényi 散度之间联系的启发,我们引入一类依赖于实参数 的新通用预测器。该类插值两种著名预测器:混合估计器(包含 Laplace 与 Krichevsky-Trofimov 预测器)与归一化最大似然(NML)估计器。我们指出这类新预测器的若干优势,并从两个互补视角研究其益处:(1) 我们证明当以极大 Rényi 散度作为后悔度量时其最优性,这可在操作上解释为介于标准平均与最坏情形后悔度量之间的中间地带;(2) 我们讨论当 NML 不可行时如何将其作为 Luckiness NML 等其他预测器的替代来使用。最后,我们将 -NML 预测器应用于离散无记忆信源(DMS)类,推导出计算该预测器的简单公式,并从最坏情形后悔角度分析其渐近性能。
引用
@article{arxiv.2202.12737,
title = {Alpha-NML Universal Predictors},
author = {Marco Bondaschi and Michael Gastpar},
journal= {arXiv preprint arXiv:2202.12737},
year = {2024}
}