学习证明:定义与实践

训练机器学习(ML)模型通常涉及昂贵的迭代优化。一旦发布模型的最终参数,目前训练该模型的实体无法证明这些参数确系该优化过程的结果。这样一种机制将从多方面支撑 ML 应用的安全性。例如,当多方就特定模型的所有权发生争议时,它将简化所有权裁决。它也将促进跨不信任工人的分布式训练,否则拜占庭工人可能通过返回错误模型更新发动拒绝服务。本文中,我们通过引入 ML 中的学习证明概念来补救此问题。受证明-of-工作与可验证计算研究的启发,我们观察到一种开创性训练算法——随机梯度下降——因其随机性而累积秘密信息。这产生了一种自然的学习证明构造,证明一方已付出所需计算以正确获得一组模型参数。具体而言,我们的分析与实验表明,试图非法制造学习证明的敌手所需执行的工作至少与梯度下降本身所需相当。我们还在上述两类场景中实例化了具体学习证明机制。在模型所有权裁决中,它保护公开发布模型的知识产权。在分布式训练中,它维护训练过程的可用性。我们的经验评估验证了学习证明机制对硬件(ML 加速器)与软件栈引发的方差具有鲁棒性。