百川归海：非对称流下的私有学习

在云机器学习服务平台中，当敏感数据暴露给服务提供商时，数据隐私是一个重大问题。虽然私有计算环境（如安全飞地）和密码学方法（如同态加密）提供了强大的隐私保护，但其计算性能仍远不及云GPU。为了在实现高性能计算的同时保护隐私，我们提出了Delta，一种新的私有训练和推理框架，其模型性能与非私有集中式训练相当。Delta具有两个非对称数据流：主信息敏感流和残差流。主部分流入小模型，而残差部分卸载到大模型。具体来说，Delta将信息敏感表示嵌入低维空间，同时将信息不敏感部分推入高维残差。为确保隐私保护，低维信息敏感部分被安全保护并输入私有环境中的小模型。另一方面，残差部分被发送到快速的云GPU，并由大模型处理。为进一步增强隐私并降低通信成本，Delta在将残差与公共平台共享之前，对其应用随机二进制量化技术和基于差分隐私的技术。我们从理论上证明，Delta在公共环境中保证了差分隐私，并大大降低了私有环境的复杂性。我们在CIFAR-10、CIFAR-100和ImageNet数据集以及ResNet-18和ResNet-34上进行了实证分析，表明Delta在不显著影响模型效用的前提下，实现了强大的隐私保护、快速训练和推理。