机器学习中的留一可区分性
机器学习
2024-04-18 v4
摘要
我们引入一种分析框架，用于量化在训练集中加入少量数据点后机器学习算法输出分布的变化，我们将此概念定义为留一可区分性（LOOD）。这是衡量数据**记忆**与信息**泄露**以及训练数据点**影响**的关键。我们阐释了该方法如何拓宽并细化现有的记忆与训练数据相关隐私风险的经验度量。我们使用高斯过程对机器学习算法的随机性建模，并通过成员推断攻击对泄露进行广泛实证分析来验证LOOD。我们的分析框架使我们能够调查泄露的原因及泄露高发的位置。例如，我们分析了激活函数对数据记忆的影响。此外，我们的方法允许我们识别在留一设定下披露最多训练数据信息的查询。我们说明了如何利用最优查询对训练数据进行准确**重构**。
引用
@article{arxiv.2309.17310,
title = {Leave-one-out Distinguishability in Machine Learning},
author = {Jiayuan Ye and Anastasia Borovykh and Soufiane Hayou and Reza Shokri},
journal= {arXiv preprint arXiv:2309.17310},
year = {2024}
}
备注
ICLR 2024