学习算法的统计不可区分性
机器学习
2023-05-24 v1 数据结构与算法
机器学习
摘要
当两个不同的参与方在自己的数据上使用相同的学习规则时，我们如何检验两种结果分布是否相似？本文中，我们通过分布的总变差（TV）距离视角研究学习规则结果的相似性。若某学习规则在两个独立抽取自同一分布的训练集上执行时，其输出后验分布之间的期望 TV 距离较小，则称该学习规则是 TV 不可区分的。我们首先研究了使用 TV 不可区分学习器对假设类的可学习性。我们的主要结果是 TV 不可区分性与已有算法稳定性概念（如可复现性与近似差分隐私）之间的信息论等价性。随后，我们给出了针对 TV 不可区分学习器的统计放大与提升算法。
引用
@article{arxiv.2305.14311,
title = {Statistical Indistinguishability of Learning Algorithms},
author = {Alkis Kalavasis and Amin Karbasi and Shay Moran and Grigoris Velegkas},
journal= {arXiv preprint arXiv:2305.14311},
year = {2023}
}