zkDL:深度学习训练的高效零知识证明
机器学习
2023-12-07 v2 密码学与安全
摘要
深度学习的近期进展给人们生活的各个方面带来了重大改变。与此同时,这些快速发展引发了关于深度神经网络训练过程合法性的担忧。为保护 AI 开发者的知识产权,验证者通常不被允许通过访问模型参数与训练数据来直接审查训练过程。为应对这一挑战,我们提出零知识深度学习(zkDL),一种用于深度学习训练的高效零知识证明。为解决深度学习训练中非线性运算可验证计算这一长期存在的难题,我们引入 zkReLU,一种针对 ReLU 激活及其反向传播的专用证明。zkReLU 将非算术关系的劣势转化为优势,从而催生了 FAC4DNN——我们为建模神经网络专门设计的算术电路。该设计聚合了不同层与训练步上的证明,而不受训练过程中顺序的约束。借助我们全新的、与张量结构完全兼容且支持聚合证明设计的 CUDA 实现,zkDL 能够为一个具有 10M 参数、批大小为 64 的 8 层神经网络,在每个批次更新中于不到一秒内生成完备且可靠的证明,同时可证明地保障数据与模型参数的隐私。据我们所知,现有关于深度学习训练零知识证明的工作中,尚无能扩展至百万规模网络者。
引用
@article{arxiv.2307.16273,
title = {zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training},
author = {Haochen Sun and Tonghe Bai and Jason Li and Hongyang Zhang},
journal= {arXiv preprint arXiv:2307.16273},
year = {2023}
}
备注
16 pages