关于隐私保护迭代重加权最小二乘法的一点注记
密码学与安全
2016-05-25 v1 人工智能
应用统计
机器学习
摘要
迭代重加权最小二乘法（IRLS）是机器学习中估计广义线性模型参数的广泛使用方法。特别地，线性模型下L1最小化的IRLS在每一步提供一个闭式解，即加权二阶矩矩阵的逆与加权一阶矩向量的简单乘积。然而，在处理隐私敏感数据时，开发隐私保护的IRLS算法面临两个挑战。首先，由于二阶矩矩阵的求逆，差分隐私中涉及单数据点扰动的常规敏感度分析变得复杂，且常需不切实际的假设。其次，由于其迭代性质，会产生显著的累积隐私损失。然而，添加高水平噪声以补偿隐私损失会妨碍获得准确估计。在此，我们开发了一种实用算法来克服这些挑战，并输出私有化且准确的IRLS解。在我们的方法中，我们分别分析各矩的敏感度，并将矩阵求逆和乘法视为后处理步骤，从而简化了敏感度分析。此外，我们应用了“集中差分隐私”形式体系，这是差分隐私的一种更宽松版本，与传统的和高级组合的差分隐私机制相比，在相同隐私保证水平下所需添加的噪声量显著减少。
引用
@article{arxiv.1605.07511,
title = {A note on privacy preserving iteratively reweighted least squares},
author = {Mijung Park and Max Welling},
journal= {arXiv preprint arXiv:1605.07511},
year = {2016}
}