差分隐私注意力计算
机器学习
2024-10-15 v2 密码学与安全
摘要
大语言模型(LLMs),尤其是那些基于Transformer架构的模型,对日常生活诸多方面产生了深远影响,例如自然语言处理、内容生成、研究方法等。然而,关于大语言模型推理结果的一个关键问题是安全与隐私。鉴于大语言模型在许多场景下可能生成泄露敏感机密或版权信息的结果,由于注意力机制至关重要(attention is all you need),以可证明的隐私保证计算注意力矩阵十分关键。本工作中,我们提出了一种新颖且高效的算法,在提供差分隐私(DP)保证的同时近似注意力矩阵。为此,我们基于近期在快速注意力计算和差分隐私矩阵发布方面的进展展开工作。
引用
@article{arxiv.2305.04701,
title = {Differentially Private Attention Computation},
author = {Yeqi Gao and Zhao Song and Xin Yang and Yufa Zhou},
journal= {arXiv preprint arXiv:2305.04701},
year = {2024}
}