随机投影与加性噪声下线性回归的隐私-效用权衡

数据隐私是机器学习中的一个重要问题，并且与训练有用学习模型的任务根本对立，因为后者通常需要获取大量私人用户数据。在履行机器学习任务的同时保护用户隐私的一种可能方法是在数据的变换含噪版本上训练模型，该版本不直接向训练过程泄露数据本身。在这项工作中，我们分析了针对线性回归问题的两种此类方案的隐私-效用权衡：加性噪声和随机投影。与先前工作不同，我们考虑了一种基于条件互信息（MI-DP）的近期提出的差分隐私概念，它强于常规的 $(\epsilon, \delta)$-差分隐私，并使用相对目标误差作为效用度量。我们发现，在加噪之前将数据投影到较低维子空间通常能获得更好的权衡。我们还将隐私问题与非相干单输入多输出（SIMO）联系起来，后者在无线通信中已被广泛研究，并借用其中的工具进行分析。我们给出了展示各方案性能的数值结果。