Hot PATE：面向多样化任务的分布隐私聚合
机器学习
2025-10-02 v4 人工智能
密码学与安全
数据结构与算法
摘要
教师集成隐私聚合（Private Aggregation of Teacher Ensembles, PATE）框架通过对敏感数据不相交子集的响应进行聚合，实现了隐私保护的机器学习。将 PATE 适配于具有内在输出多样性的任务（如文本生成，其期望输出为分布中的一个样本）面临一个核心矛盾：随着多样性增加，来自不同教师的样本更难达成一致，而在相同隐私要求下，较低的一致性会导致效用降低。然而，为了人为提高一致性而抑制多样性是不可取的，因为这会扭曲底层模型的输出，从而降低输出质量。我们提出了 Hot PATE，一种专为多样化生成场景设计的 PATE 变体。我们形式化了保持多样性的集成采样器概念，并引入了一种高效采样器，可证明在不产生额外隐私成本的情况下转移多样性。Hot PATE 仅需对专有模型进行 API 访问，即可作为现有 Cold PATE 采样器的直接替代品。我们的实证评估证实并量化了这些优势，表明在所评估的上下文学习任务中，隐私-效用权衡得到了显著改善，既保持了多样性又返回了相关响应。
引用
@article{arxiv.2312.02132,
title = {Hot PATE: Private Aggregation of Distributions for Diverse Task},
author = {Edith Cohen and Benjamin Cohen-Wang and Xin Lyu and Jelani Nelson and Tamas Sarlos and Uri Stemmer},
journal= {arXiv preprint arXiv:2312.02132},
year = {2025}
}