SentinelLMs：面向隐私和安全推理的语言模型加密输入适配与微调

本文解决了与深度神经语言模型相关的隐私和安全问题，这些模型是现代各种基于AI的应用中的关键组件。这些模型通常在预训练后针对特定任务进行微调，并部署在通过互联网访问的服务器上。然而，这引入了两个基本风险：(a) 用户输入通过网络传输到服务器存在拦截漏洞，(b) 部署此类模型的组织存储用户数据时上下文受限，从而产生隐私问题。为了解决这个问题，我们提出了一种新方法，用于在通行密钥加密的用户特定文本上适配和微调基于transformer的语言模型。原始预训练语言模型首先经过快速适配（无需进一步预训练），对分词器和词嵌入应用一系列不可逆变换。这使得模型能够对加密输入进行推理，同时防止从模型参数和中间输出逆向工程文本。适配后，模型在现有训练数据集的加密版本上进行微调。在著名的模型（如BERT、RoBERTa）的适配版本上，使用已建立的基准英文和多语言数据集进行文本分类和序列标注的实验评估表明，加密模型在性能上与原始模型相当。这有助于协同保护性能、隐私和安全。