隐私保护大语言模型：基于 ChatGPT 案例研究的愿景与框架
密码学与安全
2023-10-20 v1
摘要
基于大语言模型（LLMs）的生成式人工智能（AI）工具使用数十亿参数广泛分析大型数据集并提取上下文、具体细节、身份信息等关键隐私信息。这对用户隐私构成严重威胁并引发使用此类工具的顾虑。本文提出称为 PrivChatGPT 的概念模型，一种用于 LLM 的隐私保护模型，包含两个主要组件：在数据整理/预处理阶段保护用户隐私，以及保护大规模数据的私有上下文与私有训练过程。为展示其适用性，我们演示如何将私有机制集成至现有 LLM 训练模型中以保护用户隐私；具体地，我们采用差分隐私与基于强化学习（RL）的私有训练。我们度量隐私损失并评估应用差分隐私后的不确定性或随机性度量。它进一步在每次为训练目的新增信息时递归评估公共数据库与资源的隐私保证水平及不确定性度量。为批判评估差分隐私在私有 LLM 中的使用，我们假想比较了其他机制如区块链、私有信息检索、随机化等在模型性能与准确率、计算复杂度、隐私与效用等多项性能指标上的表现。我们结论：差分隐私、随机化与混淆会影响训练模型的效用与性能，反之，ToR、区块链与 PIR 的采用可能引入额外计算复杂度与高训练延迟。我们相信所提模型可作为生成式 AI 工具隐私保护 LLM 设计的基准。
引用
@article{arxiv.2310.12523,
title = {Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework},
author = {Imdad Ullah and Najm Hassan and Sukhpal Singh Gill and Basem Suleiman and Tariq Ahamed Ahanger and Zawar Shah and Junaid Qadir and Salil S. Kanhere},
journal= {arXiv preprint arXiv:2310.12523},
year = {2023}
}