临床语言模型的成员推断攻击易感性
计算与语言
2021-04-20 v1
摘要
深度神经网络(DNN)模型已被证明存在较高的经验隐私泄露。在临床数据上训练的临床语言模型(CLM)已被用于提升生物医学自然语言处理任务的性能。在本工作中，我们研究了通过白盒或黑盒访问 CLM 所带来的训练数据泄露风险。我们设计并采用了成员推断攻击来估计诸如 BERT 和 GPT2 等模型架构的经验隐私泄露。我们表明，针对 CLM 的成员推断攻击导致了高达 7% 的不可忽略的隐私泄露。我们的结果显示，较小模型的经验隐私泄露低于较大模型，且掩码语言模型(MLM)的泄露低于自回归语言模型。我们进一步表明，差分隐私 CLM 能够在确保较低经验隐私泄露的同时提升在临床领域的模型效用。最后，我们还研究了组级成员推断与疾病罕见性对 CLM 隐私泄露的影响。
引用
@article{arxiv.2104.08305,
title = {Membership Inference Attack Susceptibility of Clinical Language Models},
author = {Abhyuday Jagannatha and Bhanu Pratap Singh Rawat and Hong Yu},
journal= {arXiv preprint arXiv:2104.08305},
year = {2021}
}