一刀切并不适用：探究跨 NLP 任务的差分隐私学习策略
计算与语言
2023-02-01 v3
摘要
在当代 NLP 模型中保护隐私使我们能够处理敏感数据，但不幸的是这需要付出代价。我们知道，在差分隐私随机梯度下降（DP-SGD）中更严格的隐私保证通常会降低模型性能。然而，先前关于 DP-SGD 在 NLP 中效率的研究尚无定论，甚至违反直觉。在这篇短文中，我们使用基于 BERT 和 XtremeDistil 架构的现代神经模型，对五种不同“典型” NLP 任务中七个下游数据集上的不同隐私保护策略进行了广泛分析，这些任务具有不同复杂度。我们表明，与解决 NLP 任务的标准非隐私方法（通常越大越好）不同，隐私保护策略并未展现出一种制胜模式，每个任务和隐私机制都需要特殊处理才能达到足够的性能。
引用
@article{arxiv.2112.08159,
title = {One size does not fit all: Investigating strategies for differentially-private learning across NLP tasks},
author = {Manuel Senge and Timour Igamberdiev and Ivan Habernal},
journal= {arXiv preprint arXiv:2112.08159},
year = {2023}
}
备注
EMNLP 2022 final camera-ready version