查询偏倚是否会泄露受保护属性？利用平滑敏感度实现隐私保护

现有法规禁止模型开发者访问受保护属性（性别、种族等），常导致在不知晓受保护群体情况下对人口进行公平性评估。在此类场景中，机构常将模型开发者（在无受保护属性访问权下训练模型）与合规团队（可为审计目的访问整个数据集）分离。然而，模型开发者可能被允许通过向合规团队查询群体公平性指标来测试其模型偏倚。本文首先证明，仅查询诸如统计奇偶性与均等几率等公平性指标，便可将个体的受保护属性泄露给模型开发者。我们证明总存在这样的策略：模型开发者仅从单次查询即可识别测试数据集中目标个体的受保护属性。特别地，我们展示当 Nk<<n 时，利用压缩感知技术（n：测试数据集规模，Nk：最小群体规模）可从 O(Nk \log( n /Nk)) 次查询重建所有个体的受保护属性。我们的结果在算法公平性上引发有趣争论：查询公平性指标应被视为确保法规合规的中立方案？还是说，若回答的查询次数足以让模型开发者识别特定个体的受保护属性，则构成对法规与隐私的违反？为应对此所谓违规，我们还提出 Attribute-Conceal，一种通过对偏倚查询的平滑敏感度校准噪声来实现差分隐私的新技术，优于拉普拉斯机制等朴素技术。我们亦给出了在 Adult 数据集与合成数据上的实验结果。