基于GPU的私有信息检索用于设备端机器学习推理
密码学与安全
2023-09-27 v3 分布式、并行与集群计算
机器学习
摘要
设备端机器学习（ML）推理可使用户设备上的私有用户数据免于暴露给远程服务器。然而，对于依赖过大而无法存储在设备上的嵌入表的许多应用，纯设备端的私有ML推理方案并不实用。特别是，推荐模型通常使用多个嵌入表，每个约1-10 GB数据，难以存储在设备端。为克服该障碍，我们提出使用私有信息检索（PIR）高效且隐私地从服务器获取嵌入而不共享任何私有信息。由于现成PIR算法通常计算密集，无法直接用于延迟敏感的推理任务，我们1）提出新颖的基于GPU的PIR加速，2）将PIR与下游ML应用协同设计以获得进一步加速。我们的GPU加速策略相较优化的CPU PIR实现将系统吞吐提升超，而PIR-ML协同设计在固定模型质量下额外带来超吞吐提升。综上，对于推荐与语言建模等多种设备端ML应用，单张V100 GPU上的系统每秒可服务多达次查询——相较基于CPU的基线吞吐提升——同时保持模型准确率。
引用
@article{arxiv.2301.10904,
title = {GPU-based Private Information Retrieval for On-Device Machine Learning Inference},
author = {Maximilian Lam and Jeff Johnson and Wenjie Xiong and Kiwan Maeng and Udit Gupta and Yang Li and Liangzhen Lai and Ilias Leontiadis and Minsoo Rhu and Hsien-Hsin S. Lee and Vijay Janapa Reddi and Gu-Yeon Wei and David Brooks and G. Edward Suh},
journal= {arXiv preprint arXiv:2301.10904},
year = {2023}
}