独立伯努利变量混合的新偏差界及其在缺失质量中的应用
机器学习
2015-03-05 v5
摘要
本文致力于推导包含方差概念的独立伯努利变量混合的分布无关集中不等式。缺失质量是指与给定样本中未出现的结果相关的总概率质量，这是一个将离散分布的样本密度估计与总体联系起来的重要量。因此，我们特别受动机以新颖方式应用我们的方法来研究缺失质量的集中性——缺失质量可表示为伯努利变量的混合。我们不仅首次推导出了缺失质量的类 Bernstein 大偏差界，其指数相对于偏差大小几乎呈线性行为，而且在样本量较大且偏差较小（这是学习理论中最有趣的情形）的情况下，改进了 McAllester 和 Ortiz (2003) 以及 Berend 和 Kontorovich (2013) 的结果。同时，我们的方法表明，McAllester 和 Ortiz (2003) 引入的异质性问题在缺失质量情形下是可解决的，即可以使用标准不等式，但这可能不会导致强结果。因此，我们推测我们的结果具有通用性，并可在某些约束条件下提供潜在的尖锐类 Bernstein 界。
引用
@article{arxiv.1402.6262,
title = {Novel Deviation Bounds for Mixture of Independent Bernoulli Variables with Application to the Missing Mass},
author = {Bahman Yari Saeed Khanloo},
journal= {arXiv preprint arXiv:1402.6262},
year = {2015}
}