中文

基于 Transformer 学生判别的 PATE-TabTransGAN:差分隐私合成表格数据生成

机器学习 2026-05-27 v1

摘要

在形式差分隐私保证下生成高保真合成表格数据仍是一个开放挑战。提供强有力理论保护的方法通常牺牲了对特征间相互依赖关系的建模,而能够捕捉复杂列关系的架构仅提供经验性隐私保证。我们提出 PATE-TabTransGAN,一种将私有教师集合聚合(PATE)机制与基于 Transformer 的学生判别器集成以同时满足这两个要求的生成框架,并采用 GNMax RDP 记账方法实现数值稳定的隐私记账。一组在不相交分区上训练的 Logistic 回归教师通过带噪声聚合标签监督学生,而一个残差生成器针对该差分隐私学生进行优化,继承通过后处理获得的形式 (ϵ\epsilon, δ\delta)-DP 保证。我们将 PATE-TabTransGAN 与 PATE-GAN、DP-GAN 和 DP-CTGAN 进行比较,后者被视为差分隐私表格合成的先进方法。在四个表格基准(Adult、Breast、Cardio、Cervical)上的实验确认了所提方法的高质量:PATE-TabTransGAN 在所有四个数据集上获得最佳或持平的 AUROC。在 AUCPR 上,它在 Cardio 上与最强基线持平,在 Cervical 上领先,在 Breast 上落后;在 Adult 上,我们展示了 AUCPR 对正类约定高度敏感,且观察到的差距与评估管道之间的约定差异一致,而非合成缺陷。

关键词

引用

@article{arxiv.2605.26802,
  title  = {PATE-TabTransGAN: Differentially Private Synthetic Tabular Data Generation via Transformer-Based Student Discrimination},
  author = {M. Youssef and M. Woźniak},
  journal= {arXiv preprint arXiv:2605.26802},
  year   = {2026}
}

备注

16 pages, 3 figures, 4 tables. Submitted for publication