关于 Transformer 中梯度泄露攻击与防御的理论洞察
机器学习
2023-11-27 v1 密码学与安全
摘要
深度梯度泄露（DLG）攻击已成为一种普遍且高效的通过检查交换梯度来提取敏感训练数据的方法。这种方法对个体和组织的隐私都构成了重大威胁。本研究对专门用于基于 transformer 的模型的梯度泄露方法进行了全面分析。通过细致考察，我们展示了仅从梯度准确恢复数据的能力，并严格探究了可执行梯度攻击的条件，提供了令人信服的证据。此外，我们重新评估了在梯度上引入额外噪声作为抵御梯度攻击的保护措施的方法。为此，我们给出了一个理论证明，在差分隐私框架下分析相关的隐私代价。另外，我们确认了随机梯度下降（SGD）算法在扰动梯度下的收敛性。本研究的主要目标是增进对梯度泄露攻击和防御策略的理解，同时积极促进专为基于 transformer 的模型设计的隐私保护技术的发展。通过阐明与梯度泄露相关的漏洞和对策，本研究旨在推动在基于 transformer 的模型背景下保护敏感数据和维护隐私方面的进展。
引用
@article{arxiv.2311.13624,
title = {A Theoretical Insight into Attack and Defense of Gradient Leakage in Transformer},
author = {Chenyang Li and Zhao Song and Weixin Wang and Chiwun Yang},
journal= {arXiv preprint arXiv:2311.13624},
year = {2023}
}