MERGE：快速私有文本生成
计算与语言
2023-12-12 v3 人工智能
摘要
语言模型参数量的急剧增长导致了将模型部署于云服务器的新趋势，也引发了人们对基于Transformer模型的私有推理日益增长的担忧。然而，现有的两方隐私保护技术仅考虑了自然语言理解（NLU）场景。自然语言生成（NLG）中的私有推理——对翻译和代码补全等应用至关重要——仍鲜有探索。此外，以往的隐私保护技术存在模型训练收敛问题，且因忽视自回归生成中耗时操作，在NLG模型上推理速度不佳。为解决这些问题，我们提出一种面向基于Transformer语言模型的快速私有文本生成框架，即MERGE。MERGE复用输出隐状态作为词嵌入以绕过嵌入计算，并重组Transformer模块中的线性运算以加速前向过程。大量实验表明，在序列长度512下，MERGE相较原始加密模型实现26.5倍加速，降低80%通信开销，且相较最先进近似模型最高加速10倍。
引用
@article{arxiv.2305.15769,
title = {MERGE: Fast Private Text Generation},
author = {Zi Liang and Pinghui Wang and Ruofei Zhang and Nuo Xu and Lifeng Xing and Shuo Zhang},
journal= {arXiv preprint arXiv:2305.15769},
year = {2023}
}
备注
Accepted by AAAI 2024