基于非参数变分信息瓶颈的Transformer文本差分隐私
机器学习
2026-01-15 v2
摘要
我们提出了一种用于共享文本数据的隐私保护方法，通过共享其Transformer嵌入的噪声版本。已证明，深度模型学习的隐藏表示可以编码输入中的敏感信息，从而使对手能够以相当高的准确率恢复输入数据。这一问题在Transformer嵌入中尤为突出，因为它们由多个向量组成，每个向量对应一个词元。为缓解这一风险，我们提出了非参数变分差分隐私（NVDP），既确保有用的数据共享，又提供强大的隐私保护。我们采用差分隐私（DP）方法，将非参数变分信息瓶颈（NVIB）层集成到Transformer架构中，以向其多向量嵌入中注入噪声，从而隐藏信息，并通过Renyi散度（RD）及其对应的贝叶斯差分隐私（BDP）保证来衡量隐私保护。训练NVIB层可根据下游任务的实用性校准噪声水平。我们在通用语言理解评估基准（GLUE）上测试了NVDP，表明不同噪声水平可提供实用的隐私与准确性之间的权衡。在较低噪声水平下，我们的模型在保持高准确性的同时，提供强大的隐私保护，有效平衡了隐私与实用性。
引用
@article{arxiv.2601.02307,
title = {Differential Privacy for Transformer Embeddings of Text with Nonparametric Variational Information Bottleneck},
author = {Dina El Zein and James Henderson},
journal= {arXiv preprint arXiv:2601.02307},
year = {2026}
}
备注
11 pages, 2 figures