神经估计 $\mathsf{f}$-散度的非渐近性能保证
统计理论
2021-03-18 v2 机器学习
统计理论
摘要
统计距离（SDs）用于量化概率分布之间的不相似性，是机器学习与统计学的核心。一种从数据估计此类距离的现方法依赖于用神经网络（NN）参数化其变分形式并优化之。这些估计器在实践中被大量使用，但相应的性能保证尚不充分，有待进一步探索。特别地，所涉及的两类误差——逼近误差与估计误差——之间似乎存在一种根本性的权衡。前者需要 NN 类具有丰富且具表达力的容量，而后者依赖于对复杂度的控制。本文通过非渐近误差界来探究这一权衡，聚焦于三种常用的 SDs 选择——Kullback-Leibler 散度、卡方散度与平方 Hellinger 距离。我们的分析依赖于非渐近函数逼近定理与经验过程理论工具。文中亦给出了验证该理论的数值结果。
引用
@article{arxiv.2103.06923,
title = {Non-Asymptotic Performance Guarantees for Neural Estimation of $\mathsf{f}$-Divergences},
author = {Sreejith Sreekumar and Zhengxin Zhang and Ziv Goldfeld},
journal= {arXiv preprint arXiv:2103.06923},
year = {2021}
}