f-散度及其在有损压缩与泛化误差界中的应用
信息论
2023-01-27 v3 机器学习
math.IT
摘要
在本文中，我们给出了 -散度的三个应用：(i) 我们基于超模 -散度引入了 Sanov 关于独立随机变量之和尾概率的上界，并表明我们的广义 Sanov 界严格优于普通界；(ii) 我们考虑有损压缩问题，该研究针对给定失真与码长下的可达速率集合。我们利用互 -信息推广了率失真函数，并使用超模 -散度在有限块长机制下给出了关于可达速率的新的且严格更优的界；以及 (iii) 我们给出了具有有界输入/输出互 -信息的算法的泛化误差与广义率失真问题之间的联系。该联系使我们能够利用 -率失真函数的下界来界定学习算法的泛化误差。我们的界基于率失真函数的一个新下界，该下界（对于某些例子）严格优于先前已知的最佳界。
引用
@article{arxiv.2206.11042,
title = {f-divergences and their applications in lossy compression and bounding generalization error},
author = {Saeed Masiha and Amin Gohari and Mohammad Hossein Yassaee},
journal= {arXiv preprint arXiv:2206.11042},
year = {2023}
}