基于实例混淆的隐私保护语言模型推理
计算与语言
2024-02-14 v1
摘要
语言模型即服务 (LMaaS) 为开发者和研究人员使用预训练语言模型进行推理提供了便捷途径。然而，在服务调用过程中，包含私有信息的输入数据和推理结果均以明文形式暴露，从而引发隐私问题。最近的研究开始着手解决隐私问题，通过在用户端利用噪声添加和内容扰动等技术将输入数据转换为隐私保护表示，但对于推理结果保护（即决策隐私）的探索仍属空白。为了维持 LMaaS 的黑盒特性，实施数据隐私保护（尤其是决策保护）是一项具有挑战性的任务，因为该过程必须对模型透明，且伴随有限的通信和计算开销。因此，我们提出了实例混淆推理 (IOI) 方法，旨在解决自然语言理解任务在全生命周期中的决策隐私问题。此外，我们在各种基准任务上进行了全面的实验，以评估所提方法的性能及其隐私保护强度。
引用
@article{arxiv.2402.08227,
title = {Privacy-Preserving Language Model Inference with Instance Obfuscation},
author = {Yixiang Yao and Fei Wang and Srivatsan Ravi and Muhao Chen},
journal= {arXiv preprint arXiv:2402.08227},
year = {2024}
}