Comet：面向私有 Transformer 推理的高通信效率且高性能的近似方法
机器学习
2024-09-10 v2 人工智能
密码学与安全
摘要
以 ChatGPT 为代表的类 Transformer 模型在现代语言处理应用中的广泛使用，凸显了启用私有推理的迫切需求，这对于许多依赖此类模型的云服务至关重要。然而，当前的隐私保护框架带来了显著的通信负担，尤其是对于 Transformer 模型中的非线性计算。在本文中，我们引入了一种新颖的插件方法 Comet，以在不损害推理性能的情况下有效降低通信成本。其次，我们引入了一种高效的近似方法，以消除在寻找良好初始近似时繁重的通信开销。我们在 Bert 和 RoBERTa 模型上使用 GLUE 基准数据集评估了我们的 Comet，结果表明，与现有技术相比，通信量减少了 3.9，速度提升了 3.5，同时保持了具竞争力的模型性能。
关键词
引用
@article{arxiv.2405.17485,
title = {Comet: A Communication-efficient and Performant Approximation for Private Transformer Inference},
author = {Xiangrui Xu and Qiao Zhang and Rui Ning and Chunsheng Xin and Hongyi Wu},
journal= {arXiv preprint arXiv:2405.17485},
year = {2024}
}