DPFormer：在长尾数据上学习差分隐私 Transformer
机器学习
2023-05-30 v1
摘要
Transformer 已成为一种应用广泛且高效的通用架构。然而，如何以差分隐私保证高效训练出高可用性的 Transformer 模型仍是一个开放问题。本文指出学习差分隐私 Transformer 的两个关键挑战，即逐样本梯度裁剪带来的沉重计算开销，以及注意力机制内无意的注意力分散。为此，我们提出配备 Phantom Clipping 与 Re-Attention Mechanism 的 DPFormer 以应对这些挑战。理论分析表明，DPFormer 能降低梯度裁剪中的计算成本，并有效缓解注意力分散（其会阻碍训练过程并导致显著性能下降，尤其在存在长尾数据时）。该分析进一步由两个真实数据集上的实证结果所佐证，展示了所提 DPFormer 的效率与有效性。
引用
@article{arxiv.2305.17633,
title = {DPFormer: Learning Differentially Private Transformer on Long-Tailed Data},
author = {Youlong Ding and Xueyang Wu and Hao Wang and Weike Pan},
journal= {arXiv preprint arXiv:2305.17633},
year = {2023}
}