检查差分隐私文本的表示流形
计算与语言
2025-03-20 v1
摘要
差分隐私(DP)用于文本最近采取文本语义重写方式，利用语言模型和温度抽样以更好地平衡隐私与实用性。然而，关于DP关于表示空间中结构与复杂度几何畸变的探索仍未完成。通过在不同隐私预算下估计 paraphrased text 的内在维度，我们发现词级方法严重抬高了表示流形，而句级方法产生的 paraphrase 其流形在拓扑上更符合人类撰写的 paraphrase。就句级方法而言，masked paraphrasing 相较于 causal paraphrasing 在结构复杂性保留方面表现出优势，表明自回归生成会从不自然的词选择中传播畸变，并级联并夸大表示空间。
关键词
引用
@article{arxiv.2503.14991,
title = {Inspecting the Representation Manifold of Differentially-Private Text},
author = {Stefan Arnold},
journal= {arXiv preprint arXiv:2503.14991},
year = {2025}
}