再论私有模型个性化

我们在共享表示框架下研究用户级差分隐私(DP)的模型个性化问题。该问题涉及 $n$ 个用户，其数据统计异质，且他们的最优参数共享一个未知嵌入 $U^* \in\mathbb{R}^{d\times k}$，该嵌入将 $\mathbb{R}^d$ 中的用户参数映射到 $\mathbb{R}^k$ 中的低维表示，其中 $k\ll d$。我们的目标是在联邦设置下，以较小的超额风险私有地恢复共享嵌入和局部低维表示。我们提出了一种基于 [CHM+21] 中 FedRep 算法的私有、高效联邦学习算法来学习共享嵌入。与 [CHM+21] 不同，我们的算法满足差分隐私，并且我们的结果适用于标签噪声的情况。与先前关于私有模型个性化的工作 [JRS+21] 相比，我们的效用保证适用于更广泛的用户分布类别(次高斯分布而非高斯分布)。此外，在自然参数范围内，我们将 [JRS+21] 中的隐私误差项改进了 $\widetilde{O}(dk)$ 倍。接下来，我们考虑二分类设置。我们提出了一种信息论构造来私有地学习共享嵌入，并推导出与 $d$ 无关的基于间隔的精度保证。我们的方法利用 Johnson-Lindenstrauss 变换来降低共享嵌入和用户数据的有效维度。该结果表明，在此设置下，基于间隔损失可以实现与维度无关的风险界。