针对纵向联邦大语言模型的输入重构攻击
计算与语言
2023-11-27 v2 人工智能
密码学与安全
摘要
近期，随着 ChatGPT 的出现，大语言模型（LLMs）引起了学术界和公众的广泛关注。尽管 LLMs 在各种任务的文本生成中展现出惊人的能力，但隐私问题限制了它们在现实业务中的使用。更具体地说，在使用过程中，用户的输入（用户向托管模型的服务器发送查询）或模型本身（用户下载完整模型）将会被暴露。纵向联邦学习（VFL）是解决此类问题的一个有前景的方案。它通过将模型拆分为底层部分和顶层部分来保护用户输入和模型知识，这两部分分别由用户和模型提供方维护。然而，在本文中，我们证明在 LLMs 中，VFL 无法保护用户输入，因为从中间嵌入中重构输入既简单又廉价。实验表明，即使使用商用 GPU，也能在仅一秒内重构出输入句子。我们还讨论了若干可能的方案，以增强纵向联邦 LLMs 的隐私性。
引用
@article{arxiv.2311.07585,
title = {Input Reconstruction Attack against Vertical Federated Large Language Models},
author = {Fei Zheng},
journal= {arXiv preprint arXiv:2311.07585},
year = {2023}
}