隐私保护 LLM 推理的免费午餐定理
密码学与安全
2025-03-03 v3 人工智能
摘要
个人和企业从大语言模型（LLMs）如 PaLM、Gemini 和 ChatGPT 等中受益良多。例如，LLMs 增强了生产力，降低了成本，并使我们能够专注于更有价值的任务。此外，LLMs 具备从大规模数据集中筛选信息、揭示潜在模式并提供关键洞察的能力，从而推动技术和科学的前沿发展。然而，LLMs 也存在隐私问题。用户与 LLMs 的交互可能暴露其敏感的个人或公司信息。缺乏强大的隐私保障和法律框架可能导致对个人数据的非法入侵或不当处理，从而危及隐私并可能导致个人身份盗窃。为确保隐私，最小化共享提示与私人信息之间的依赖性至关重要。虽然已提出多种随机化方法来保护提示的隐私，但它们可能以不利于未受保护的 LLM 提示的效用损失。因此，评估在有效保护机制下，隐私泄露风险与效用损失之间的平衡是至关重要的。当前研究发展了推断隐私保护大语言模型（LLMs）的框架，为考察隐私保护与效用之间的相互作用奠定了坚实的理论基础。核心洞见体现在称为 NFL（No-Free-Lunch 的缩写）定理的定理中。
引用
@article{arxiv.2405.20681,
title = {No Free Lunch Theorem for Privacy-Preserving LLM Inference},
author = {Xiaojin Zhang and Yahao Pang and Yan Kang and Wei Chen and Lixin Fan and Hai Jin and Qiang Yang},
journal= {arXiv preprint arXiv:2405.20681},
year = {2025}
}