大语言模型中的隐私保护:当前威胁与解决方案综述
密码学与安全
2025-02-11 v2 人工智能
计算与语言
机器学习
摘要
大语言模型(LLM)代表了人工智能的重大进展,在各个领域得到广泛应用。然而,其对大规模互联网来源数据集进行训练的依赖带来了显著的隐私问题,在关键领域(如医疗保健)中尤为严重。此外,某些特定应用场景可能需要在私有数据上对这些模型进行微调。本综述批判性地审视了与LLM相关的隐私威胁,强调了这些模型可能记忆并不慎泄露敏感信息的潜力。我们通过回顾LLM上的隐私攻击来探索当前威胁,并提出在整个学习流程中集成隐私机制的全面解决方案。这些解决方案涵盖从匿名化训练数据集到在训练或推理期间实施差分隐私,以及训练后的机器遗忘。我们对现有文献的全面综述突出了LLM隐私保护中的持续挑战、可用工具以及未来方向。本工作旨在通过全面理解隐私保护方法及其在降低风险方面的有效性,引导开发更安全、更可信的人工智能系统。
引用
@article{arxiv.2408.05212,
title = {Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions},
author = {Michele Miranda and Elena Sofia Ruzzetti and Andrea Santilli and Fabio Massimo Zanzotto and Sébastien Bratières and Emanuele Rodolà},
journal= {arXiv preprint arXiv:2408.05212},
year = {2025}
}
备注
Published in Transactions on Machine Learning Research (TMLR) https://openreview.net/forum?id=Ss9MTTN7OL