离散分布估计中的相对熵问题及缺失质量的偏差分析

我们研究了从独立同分布样本中估计有限字母表上分布的问题，准确性以相对熵（克洛德-莱布尔散度）衡量。虽然已知期望风险的最优下界，但高概率保证仍较为人所了解。首先，我们分析了经典的拉普拉斯（加一）估计器，获得其性能的匹配上界和下界，确立其在无置信度独立估计器中的最优性。随后，我们刻画了minimax最优高概率风险，证明其通过一种简单的数据置信度依赖平滑技术即可实现。值得注意的是，最优非渐近风险相对于理想渐近速率会额外产生一个对数因子。接着，受字母表大小超过样本大小的情形启发，我们研究了针对分布稀疏性自适应的方法。我们引入了一个使用数据依赖平滑的估计器，并建立了其高概率风险下界，该下界依赖于两个有效稀疏参数。作为分析的一部分，我们还推导出缺失质量的尖锐高概率上界。