zkLLM：大型语言模型的零知识证明
机器学习
2024-04-26 v1 密码学与安全
摘要
近期以大型语言模型（LLM）为标志的人工智能（AI）浪潮在全球引发了根本性变革。然而，伴随这些进步，对LLM合法性的担忧日益增加，给其广泛应用带来了法律挑战。更复杂的是，LLM的参数通常被视为知识产权，限制了直接调查。在本研究中，我们解决了AI立法领域的一个基本挑战：需要建立LLM生成输出的真实性。为解决此问题，我们提出了zkLLM，据我们所知，这是首个专门为LLM设计的零知识证明。针对深度学习中非算术运算的持续挑战，我们引入了tlookup，一种为深度学习中的非算术张量运算设计的并行化查找论证，且无渐近开销。此外，基于tlookup，我们引入了zkAttn，一种专为注意力机制设计的零知识证明，在运行时间、内存使用和准确性之间仔细平衡。借助我们完全并行化的CUDA实现，zkLLM成为实现LLM高效零知识可验证计算的重要一步。值得注意的是，对于拥有130亿参数的LLM，我们的方法能够在15分钟内生成整个推理过程的正确性证明。生成的证明紧凑，大小小于200 kB，旨在保护模型参数的隐私，确保无意外信息泄露。
引用
@article{arxiv.2404.16109,
title = {zkLLM: Zero Knowledge Proofs for Large Language Models},
author = {Haochen Sun and Jason Li and Hongyang Zhang},
journal= {arXiv preprint arXiv:2404.16109},
year = {2024}
}
备注
Accepted to ACM CCS 2024, camera-ready version under preparation. This is the author's version of the work. It is posted here for your personal use. Not for redistribution