ApproxIFER：一种模型无关的弹性鲁棒预测服务系统方法
机器学习
2021-09-27 v1 分布式、并行与集群计算
信息论
math.IT
摘要
由于云辅助AI服务的激增，设计能够有效应对掉队者/故障并最小化响应延迟的弹性预测服务系统问题引起了广泛关注。解决该问题的常见方法是复制，即将同一预测任务分配给多个工作节点。然而，这种方法效率很低并带来显著的资源开销。因此，最近提出了一种称为奇偶模型（ParM）的基于学习的方法，其学习可为一组预测生成奇偶校验以重建慢速/故障工作节点预测结果的模型。虽然这种基于学习的方法比复制更节省资源，但它是为云所托管特定模型量身定制的，特别适用于少量查询（通常少于四个）并容忍极少（大多为一个）掉队者的情况。此外，ParM不处理拜占庭对抗工作节点。我们提出了一种不同的方法，称为近似编码推断（ApproxIFER），其不需要训练任何奇偶模型，因此它与云托管的模型无关，并可轻易应用于不同数据域和模型架构。与早期工作相比，ApproxIFER可处理任意数量的掉队者，并随查询数量扩展性好得多。此外，ApproxIFER对拜占庭工作节点具有鲁棒性。我们在大量数据集和模型架构上的广泛实验也显示出比奇偶模型方法高达58%的准确率提升。
引用
@article{arxiv.2109.09868,
title = {ApproxIFER: A Model-Agnostic Approach to Resilient and Robust Prediction Serving Systems},
author = {Mahdi Soleymani and Ramy E. Ali and Hessam Mahdavifar and A. Salman Avestimehr},
journal= {arXiv preprint arXiv:2109.09868},
year = {2021}
}