ZKLoRA：用于LoRA验证的高效零知识证明
密码学与安全
2025-01-27 v1 人工智能
机器学习
摘要
低秩适应（LoRA）是自定义大规模语言模型的广泛采用方法。在分布式、不可信的训练环境中，开源基模型用户可能希望使用来自外部贡献者创建的LoRA权重，这带来两个要求：（1）基模型用户必须确认与预期基模型配合使用时LoRA权重有效；（2）LoRA贡献者必须在确保补偿之前保护其专有权重。我们提出ZKLoRA，一种基于简洁证明和我们新颖的多方推理程序的零知识验证协议，用于在不暴露LoRA权重的情况下验证LoRA与基模型的兼容性。ZKLoRA产生确定性正确性保证，仅需1-2秒即可对state-of-the-art大型语言模型上的每个LoRA模块进行验证。这种低延迟方法实现了近实时验证，促进了地理上分布化团队和基于合同的训练管道之间的安全协作。该协议确保所交付的LoRA模块按其声称工作，保护贡献者的知识产权，同时为基模型用户提供兼容性和血统验证。
引用
@article{arxiv.2501.13965,
title = {ZKLoRA: Efficient Zero-Knowledge Proofs for LoRA Verification},
author = {Bidhan Roy and Peter Potash and Marcos Villagra},
journal= {arXiv preprint arXiv:2501.13965},
year = {2025}
}
备注
7 pages, 3 figures