从梯度中提取时空数据：大语言模型方法
机器学习
2024-10-22 v1 密码学与安全
摘要
最近的研究表明，从梯度更新中可以重建出敏感的用户数据，这打破了联邦学习的关键隐私承诺。虽然这些方法主要在图像数据上Demonstrated，但这些方法并不直接转移到其他领域，如时空数据。为了理解时空联邦学习中的隐私风险，我们首先提出时空梯度逆转攻击（ST-GIA），这是一种针对时空数据设计的梯度攻击算法，成功从梯度中重建原始位置。此外，针对时空数据的攻击缺乏先验条件，导致对真实客户端数据的准确重建受阻。为此，我们提出ST-GIA+，该方法利用辅助语言模型引导搜索潜在位置，从而成功从梯度中重建原始数据。此外，我们设计了一种自适应防御策略来缓解时空联邦学习中的梯度逆转攻击。通过动态调整扰动水平，我们可以在不同训练轮次中提供量身定制的保护，从而实现比当前最先进方法更好的隐私与实用性之间的权衡。通过对三个真实数据集进行深入实验分析，我们揭示了所提防御策略能够在有效安全保护下良好地保留时空联邦学习的实用性。
引用
@article{arxiv.2410.16121,
title = {Extracting Spatiotemporal Data from Gradients with Large Language Models},
author = {Lele Zheng and Yang Cao and Renhe Jiang and Kenjiro Taura and Yulong Shen and Sheng Li and Masatoshi Yoshikawa},
journal= {arXiv preprint arXiv:2410.16121},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2407.08529