基于 Rényi 散度、$f$-散度与最大泄漏的泛化误差界
信息论
2020-10-22 v3 机器学习
math.IT
概率论
摘要
在这项工作中，通过用边际分布的乘积（通常更易分析）来度量某联合分布下事件的概率，并结合两个随机变量之间依赖性的度量，对该概率给出了界。这些结果在自适应数据分析（其中引入了多重依赖）和学习理论（可用于界定学习算法的泛化误差）中有应用。所给界以 Sibson 互信息、散度、Hellinger 散度和 散度表示。一个特别令人感兴趣的情形是最大泄漏（或无穷阶 Sibson 互信息），因为该度量对后处理具有鲁棒性且可自适应复合。相应的界可视为经典界（如 Hoeffding 不等式与 McDiarmid 不等式）在相关随机变量情形下的推广。
引用
@article{arxiv.1912.01439,
title = {Generalization Error Bounds Via R\'enyi-, $f$-Divergences and Maximal Leakage},
author = {Amedeo Roberto Esposito and Michael Gastpar and Ibrahim Issa},
journal= {arXiv preprint arXiv:1912.01439},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:1903.01777