面向交叉注意力机制的可证明差分隐私计算

交叉注意力机制已成为现代人工智能中的核心模块，支撑着检索增强生成 (RAG)、系统提示和引导式扩散等关键应用。然而，如何保障交叉注意力的隐私安全引发了日益关注的挑战，因为其底层的键矩阵和值矩阵常常编码着敏感数据或用户隐私。本文引入一种 novel 数据结构，用于强制执行差分隐私 (DP) 于交叉注意力机制，并提供可证明的理论保证。具体而言，设定 $n$ 为输入序列长度，$d$ 为特征维数，$R$ 为查询矩阵和键矩阵的最大模，$R_w$ 为值矩阵的最大模，$r, s, \epsilon_s$ 为多项式核方法的参数，则我们提出的结构在空间和初始化复杂度上达到 $\widetilde{O}(ndr^2)$，每个标记的查询时间为 $\widetilde{O}(d r^2)$。此外，我们证明该机制满足 $(\epsilon, \delta)$-DP，其相对于真实值的添加误差为 $\widetilde{O}((1-\epsilon_s)^{-1} n^{-1} \epsilon^{-1} R^{2s} R_w r^2)$，相对误差为 $2\epsilon_s/(1-\epsilon_s)$。关键在于，我们的框架对适应查询保持鲁棒性，即使在对抗性环境下也能确保安全。迄今为止，这是首个为交叉注意力提供可证明差分隐私的方法，为大型生成模型 (LGM) 的未来隐私保护算法奠定了基础。