学习 LLM 嵌入序列的混淆变换：Stained Glass Transform
机器学习
2025-06-12 v1 计算与语言
密码学与安全
信息论
math.IT
摘要
AI 计算基础设施的高昂拥有成本以及大语言模型（LLMs）鲁棒服务的挑战，导致托管的模型即服务（Model-as-a-Service）部署激增。即使企业选择本地部署，计算基础设施通常也在多个团队之间共享，以最大化投资回报率。在这两种情况下，部署的模型仅基于明文数据运行，因此企业数据所有者必须允许其数据以明文形式出现在共享或多租户计算基础设施上。这导致拥有私有或敏感数据的数据所有者在使用此类部署时犹豫不决或受到限制。在本工作中，我们引入了 Stained Glass Transform，一种针对 LLM 词嵌入的学习型、随机性且序列相关的变换，该变换在信息论层面为 LLM 的输入提供隐私保护，同时保持模型的效用。我们将特定类别的 Stained Glass Transforms 与高斯混合模型的互信息理论建立了理论联系。然后，我们基于互信息计算后验隐私估计，并通过基于标记的隐私指标和标准 LLM 性能基准验证了变换嵌入的隐私性和效用。
引用
@article{arxiv.2506.09452,
title = {Learning Obfuscations Of LLM Embedding Sequences: Stained Glass Transform},
author = {Jay Roberts and Kyle Mylonakis and Sidhartha Roy and Kaan Kale},
journal= {arXiv preprint arXiv:2506.09452},
year = {2025}
}
备注
Submitted to IEEE S&P 2026