CryptPEFT：通过参数高效微调实现高效且私密的神经网络推理
密码学与安全
2025-11-07 v2
摘要
公开可用的大型预训练模型（即骨干网络）和用于参数高效微调（PEFT）的轻量级适配器已成为现代机器学习流程中的标准组件。然而，在推理过程中同时保护用户输入和微调适配器（通常基于敏感数据训练）的隐私仍然是一个重大挑战。将多方计算（MPC）等密码学技术应用于PEFT设置，仍会在骨干网络和适配器上产生大量加密计算，这主要源于两者之间固有的双向通信。为解决这一局限，我们提出了CryptPEFT，这是首个专为私密推理场景设计的PEFT解决方案。CryptPEFT引入了一种新颖的单向通信（OWC）架构，将加密计算限制在适配器上，从而显著降低了计算和通信开销。为在此约束下保持强大的模型效用，我们探索了与OWC兼容的适配器设计空间，并采用自动化架构搜索算法来优化私密推理效率与模型效用之间的权衡。我们使用Vision Transformer骨干网络在广泛使用的图像分类数据集上评估了CryptPEFT。结果表明，CryptPEFT显著优于现有基线，在模拟广域网（WAN）和局域网（LAN）设置中实现了20.62倍至291.48倍的加速。在CIFAR-100上，CryptPEFT以仅2.26秒的推理延迟达到了85.47%的准确率。这些发现表明，CryptPEFT为现代基于PEFT的推理提供了一种高效且保护隐私的解决方案。
引用
@article{arxiv.2508.12264,
title = {CryptPEFT: Efficient and Private Neural Network Inference via Parameter-Efficient Fine-Tuning},
author = {Saisai Xia and Wenhao Wang and Zihao Wang and Yuhui Zhang and Yier Jin and Dan Meng and Rui Hou},
journal= {arXiv preprint arXiv:2508.12264},
year = {2025}
}
备注
Camera-ready version of the paper accepted for presentation at NDSS 2026