基于嵌入参数裁剪的非参数变分差分隐私
机器学习
2026-03-20 v2
摘要
非参数变分信息瓶颈（NVIB）为非参数变分差分隐私（NVDP）提供了基础，这是一种构建隐私保护语言模型的框架。然而，所学到的隐层表征可能漂移至高信息内容区域，导致隐私保证不佳，同时因数值不稳定导致实用性差。本文引入一种原则化的参数裁剪策略，直接解决此问题。我们的方法基于最小化Renyi散度（RD）上界的目标，导出后验均值、方差和混合权重参数的具体约束。我们将该技术应用于NVIB模型，并与无约束基线进行经验比较。我们的发现表明，裁剪后的模型持续实现更紧致的RD边界，即更强的隐私保护，同时在多个下游任务上实现更高性能。这一工作提出了一种简单而有效的方法，用于改进变分模型中的隐私-效用权衡，使其更加稳健和实用。
引用
@article{arxiv.2603.09583,
title = {Nonparametric Variational Differential Privacy via Embedding Parameter Clipping},
author = {Dina El Zein and Shashi Kumar and James Henderson},
journal= {arXiv preprint arXiv:2603.09583},
year = {2026}
}
备注
8 pages, 1 figure