ZORRO：面向分割学习的零知识鲁棒性与隐私保护（完整版）

分割学习（SL）是一种分布式学习方法，它使资源受限的客户端能够通过将大部分层卸载到中央服务器、同时保留输入和输出层在客户端侧，来协同训练深度神经网络（DNN）。这种设置使 SL 能够在不共享数据的情况下利用服务器的计算能力，使其在处理敏感数据的资源受限环境中非常有效。然而，分布式特性使得恶意客户端能够操纵训练过程。通过发送中毒的中间梯度，它们可以将后门注入共享的 DNN 中。现有的防御方法通常局限于服务器端保护，并给服务器引入额外开销。客户端防御的一个重大挑战是强制恶意客户端正确执行防御算法。我们提出了 ZORRO，一种隐私的、可验证的且鲁棒的 SL 防御方案。通过对交互式零知识证明（ZKP）的新颖设计和应用，客户端证明其正确执行了位于客户端的防御算法，从而产生计算完整性的证明，证实本地训练的 DNN 部分的良性。利用模型分区的频率表示，ZORRO 能够在不可信环境中对本地训练的模型进行深入检查，确保每个客户端向其后继客户端转发良性的检查点。在我们广泛的评估中，涵盖了不同的模型架构以及各种攻击策略和数据场景，我们展示了 ZORRO 的有效性，它将攻击成功率降低到 6% 以下，同时即使对于在客户端侧存储 1000000 个参数的模型，其引入的开销也低于 10 秒。