ACTG-ARL：基于强化学习提升控制的差分隐私条件文本生成
机器学习
2026-05-05 v2 密码学与安全
摘要
在不泄露用户隐私的前提下生成高质量的合成文本，对训练和评估语言模型至关重要。先前的工作在保持关键统计属性方面往往失败，因差分隐私所需的噪声导致效用损失，以及缺乏对生成过程的细粒度控制。为此，我们作出两个贡献。首先，我们引入了一个分层框架，将差分隐私合成文本生成分解为两个子任务：特征学习和条件文本生成。该设计明确将学习到的特征纳入生成过程，并简化了端到端合成任务。通过系统性的消融实验，我们识别出最有效的配置：作为特征的丰富表格模式、差分隐私表格合成器，以及差分隐私微调的条件生成器，称其为 ACTG（属性条件文本生成）。其次，我们提出了锚定强化学习（ARL），这是一种后训练方法，用于提升 ACTG 的指令遵循能力，以实现条件生成。ARL 将强化学习与以最佳-N 数据的 SFT 锚点相结合，以防止奖励作弊。这些组件共同构成了我们的端到端算法 ACTG-ARL，显著提升了差分隐私合成文本的质量（相较于先前工作提高了 20% 的 MAUVE）以及强隐私保证下条件生成器的控制能力。
引用
@article{arxiv.2510.18232,
title = {ACTG-ARL: Differentially Private Conditional Text Generation with RL-Boosted Control},
author = {Yuzheng Hu and Ryan McKenna and Da Yu and Shanshan Wu and Han Zhao and Zheng Xu and Peter Kairouz},
journal= {arXiv preprint arXiv:2510.18232},
year = {2026}
}
备注
Accepted at ICML 2026