CryptoTrain：在加密数据集上实现快速安全训练
密码学与安全
2024-09-30 v2 数据库
机器学习
摘要
安全训练在保护数据和模型权重机密性的同时，通常会产生显著的训练开销。传统的基于全同态加密（FHE）的非交互式训练模型因计算密集型的自举操作而负担沉重。为了开发高效的安全训练系统，我们建立了一个基础框架 CryptoTrain-B，该框架采用混合密码协议，将 FHE 与不经意传输（OT）相结合，分别处理线性和非线性运算。这种集成消除了代价高昂的自举操作的需求。尽管 CryptoTrain-B 创下了性能新基准，但进一步降低其训练开销仍至关重要。我们发现，密文-密文乘法（CCMul）是涉及加密输入和模型运算中的关键瓶颈。我们的解决方案 CCMul-Precompute 技术将 CCMul 置于离线预计算，并在私有训练期间诉诸资源消耗较少的密文-明文乘法（CPMul）。此外，FHE 系统中的传统多项式卷积倾向于将无关和冗余的值编码到多项式槽中，这需要额外的多项式和密文进行输入表示，从而导致额外的乘法运算。针对这一问题，我们引入了相关多项式卷积，它仅将相关的输入值编码到多项式中，从而大幅减少了计算次数和开销。通过将 CCMul-Precompute 和相关多项式卷积集成到 CryptoTrain-B 中，我们构建了一个快速且高效的安全训练框架 CryptoTrain。大量实验表明，与先前的方法相比，CryptoTrain 实现了约 5.3 倍的训练时间缩减。
引用
@article{arxiv.2409.16675,
title = {CryptoTrain: Fast Secure Training on Encrypted Dataset},
author = {Jiaqi Xue and Yancheng Zhang and Yanshan Wang and Xueqiang Wang and Hao Zheng and Qian Lou},
journal= {arXiv preprint arXiv:2409.16675},
year = {2024}
}
备注
Accepted by CCS-LAMPS 2024