$f$-散度的极限分布理论
统计理论
2023-10-13 v2 信息论
math.IT
统计理论
摘要
-散度用于量化概率分布间的差异，在信息论、机器学习和统计学中无处不在。尽管从数据估计 -散度的方法众多，但量化估计误差波动的极限分布理论在很大程度上仍不明晰。由于极限定理对有效的统计推断至关重要，为弥补这一空白，我们基于泛函 delta 方法和 Hadamard 方向可微性，开发了一种推导 -散度分布极限的通用方法。聚焦于四种著名的 -散度——Kullback-Leibler 散度、 散度、平方 Hellinger 距离和全变距离——我们给出了总体分布存在分布极限的充分条件，并刻画了极限变量。这些结果被用于推导高斯平滑 -散度在零假设和备择假设下的单样本和双样本极限定理。最后，提出了将极限分布理论应用于审计差分隐私，并针对局部备择假设分析了其显著水平和功效。
引用
@article{arxiv.2211.11184,
title = {Limit distribution theory for $f$-Divergences},
author = {Sreejith Sreekumar and Ziv Goldfeld and Kengo Kato},
journal= {arXiv preprint arXiv:2211.11184},
year = {2023}
}