差分隐私在线子模优化

在本文中，我们开发了首个在全信息反馈和bandit反馈下保持差分隐私的在线子模最小化算法。一组定义在 $n$ 个元素集合上的 $T$ 个子模函数在线到达，算法必须在每个时间步看到函数之前选择 $[n]$ 的一个子集。算法产生等于所选择集合上函数值的代价，并试图选择一系列集合以实现较低的期望后悔。我们的第一个结果在全信息设定下，算法在每个时间步做出决策后可观测整个函数。我们在该设定下给出一种 $\epsilon$-差分隐私算法，其期望后悔为 $\tilde{O}\left(\frac{n^{3/2}\sqrt{T}}{\epsilon}\right)$。该算法通过Lovasz扩展将子模函数松弛为凸函数，然后模拟差分隐私在线凸优化算法。我们的第二个结果在bandit设定下，算法只能看到其所选集合产生的代价，而无法访问整个函数。该设定更具挑战性，因为算法接收的信息不足以计算Lovasz扩展或其子梯度。相反，我们使用单点估计构造无偏估计，并基于此估计模拟隐私在线凸优化。我们使用bandit反馈的算法是 $\epsilon$-差分隐私的，并实现期望后悔 $\tilde{O}\left(\frac{n^{3/2}T^{3/4}}{\epsilon}\right)$。