Dropbear：通过拜占庭模型共识实现可信机器学习市场
分布式、并行与集群计算
2022-06-01 v1 密码学与安全
摘要
机器学习（ML）模型市场正作为一种组织变现模型的方式兴起。它们允许模型所有者通过使用云资源以收费方式执行 ML 推理请求来保留对托管模型的控制权，从而保护模型机密性。依赖托管模型的客户端需要可信的推理结果，即使模型由第三方管理。虽然结合多个独立模型可提高推理结果的弹性和鲁棒性，但当今的市场缺乏此类支持。我们描述了 Dropbear，首个通过以可信方式结合多个模型结果为客户端提供强完整性保证的 ML 模型市场。Dropbear 在模型组（由属于不同模型所有者的多个基于云的 GPU 节点组成）间复制推理计算。客户端使用拜占庭共识协议接收证明一致性的推理证书，即使在模型异构和并发模型更新下也是如此。为提升性能，Dropbear 分别批处理推理和共识操作：它先在模型组上执行推理计算，再对请求和模型更新排序。尽管具有强完整性保证，Dropbear 的性能与最先进 ML 推理系统相当：部署在 3 个云站点时，它以 ImageNet 模型处理 800 请求/秒。
引用
@article{arxiv.2205.15757,
title = {Dropbear: Machine Learning Marketplaces made Trustworthy with Byzantine Model Agreement},
author = {Alex Shamis and Peter Pietzuch and Antoine Delignat-Lavaud and Andrew Paverd and Manuel Costa},
journal= {arXiv preprint arXiv:2205.15757},
year = {2022}
}