Whistledown：在LLM中结合用户级隐私与对话连贯性

用户越来越依赖大型语言模型（LLMs）进行个人、情感化和社交敏感对话。然而，发送到云端模型的提示词可能包含用户不希望被记录、保留或泄露的个人身份信息（PII）。我们观察到，当用户讨论朋友、同事或对手时，即当他们“八卦”时，这种情况尤为严重。企业在希望将LLMs用于内部沟通和决策时也面临同样的挑战。在本白皮书中，我们介绍了Whistledown，一个在提示词发送到LLM之前对其进行修改的尽力而为的隐私层。Whistledown将假名化与 $\epsilon$-本地差分隐私（$\epsilon$-LDP）以及转换缓存相结合，以在不牺牲对话实用性的情况下提供尽力而为的隐私保护。Whistledown设计为具有低计算和内存开销，允许在个人用户的情况下直接部署在客户端设备上。对于企业用户，Whistledown集中部署在运行于企业可信基础设施上的零信任网关内。Whistledown不需要对流行LLM提供商的现有API进行任何更改。