S++：一种用于隐私保护神经网络训练的快捷可部署安全计算框架

我们介绍了 S++，一个简单、鲁棒且可部署的框架，利用秘密共享安全函数计算，使用来自多源的私有数据训练神经网络（NN）。简言之，设想一个虚拟第三方，每个数据持有者将输入发送给它，并由它计算神经网络：在我们的情形中，该虚拟第三方实际上是一组服务器，即便存在恶意（但不合谋）的敌手，它们各自也学不到任何信息。该领域的先前工作仅限于一种特定的激活函数：ReLU，使得该方法在许多用例中不切实际。我们首次为所有常见激活函数提供了快速且可验证的协议，并针对秘密共享方式下的运行进行了优化。快速、可验证且鲁棒地计算指数、softmax、sigmoid 等的能力，使我们无需修改即可使用先前写好的 NN，极大减少了开发者的工作量和代码复杂度。近来，与 sigmoid 或 tanh 等非线性函数相比，发现 ReLU 收敛更快且计算更高效。然而，我们认为若不将机制扩展到非线性函数（如逻辑 sigmoid、tanh 和 softmax）则是疏忽的，它们因其能将输出表达为概率以及具有通用逼近性质而不可或缺。它们在 RNN 及若干近期进展中的贡献也使其更具相关性。