Verde：面向机器学习程序的 refereeed 委托验证
机器学习
2025-02-27 v1
摘要
机器学习程序（如执行推理、微调和大语言模型训练）常被委托给不可信的计算提供者。为满足客户端的正确性保证，我们提出将密码学中的 refereeed 委托概念应用于机器学习场景。该方法使受计算资源限制的客户端能够将程序委托给多个不可信的计算提供者，若其中至少有一个提供者诚实，则可保证获得正确结果。 refereeed 委托机器学习程序存在两个技术难题：（1）针对计算提供者对输出产生分歧时的仲裁协议，（2）在不同硬件环境下以比特级复现机器学习程序的能力。针对（1），我们设计的 Verde 能有效处理现代机器学习程序的大规模和图结构计算模型。针对（2），我们构建 RepOps（可重复运算符），通过控制所有硬件上浮点运算的顺序，以消除硬件“非确定性”。我们的实现表明，refeered 委托既为客户端提供了强有力的保证，又在计算提供者端实现了实际可接受的开销。
引用
@article{arxiv.2502.19405,
title = {Verde: Verification via Refereed Delegation for Machine Learning Programs},
author = {Arasu Arun and Adam St. Arnaud and Alexey Titov and Brian Wilcox and Viktor Kolobaric and Marc Brinkmann and Oguzhan Ersoy and Ben Fielding and Joseph Bonneau},
journal= {arXiv preprint arXiv:2502.19405},
year = {2025}
}