理解大型语言模型引起的嵌入隐私风险
计算与语言
2024-04-26 v1 人工智能
摘要
大型语言模型 (LLMs) 显示出人工通用智能的初步迹象，但仍存在幻觉问题。缓解这些幻觉的一个有前景的解决方案是将外部知识存储为嵌入，以辅助 LLMs 进行检索增强生成。然而，这种解决方案可能侵犯隐私，因为最近的研究表明，经过预训练的语言模型可从文本嵌入中部分重建原始文本。LLMs 相对于传统预训练模型的显著优势可能加剧这些担忧。为此，我们调查了在采用 LLMs 时，从这些嵌入中重建原始知识和预测实体属性的效果。实证发现表明，LLMs 在两个评估任务上的准确率显著高于预训练模型，无论文本在分布内还是分布外。这凸显了 LLMs 危及用户隐私的潜在风险，凸显了其广泛应用的负面后果。我们进一步讨论了缓解此风险的初步策略。
引用
@article{arxiv.2404.16587,
title = {Understanding Privacy Risks of Embeddings Induced by Large Language Models},
author = {Zhihao Zhu and Ninglu Shao and Defu Lian and Chenwang Wu and Zheng Liu and Yi Yang and Enhong Chen},
journal= {arXiv preprint arXiv:2404.16587},
year = {2024}
}