拼贴推理：使用编码冗余模型在分布式图像分类中实现低尾延迟
分布式、并行与集群计算
2019-06-11 v1 机器学习
机器学习
摘要
降低机器学习推理中的延迟方差是许多应用的关键需求。在存在掉队者（stragglers）的云部署中，方差更难控制。尽管存在这一挑战，由于经济实惠的机器学习即服务 (MLaaS) 平台的出现，推理正日益在云端进行。现有的降低方差的方法依赖复制，成本高昂且部分抵消了 MLaaS 的经济性。在本工作中，我们认为 MLaaS 平台也提供了削减冗余成本的独特机会。在 MLaaS 平台中，负载均衡器并发接收多个推理请求，从而可以在更大的图像集合上创建更具成本效益的冗余编码。我们提出了一种新颖的卷积神经网络模型 Collage-CNN，以提供低成本的冗余框架。Collage-CNN 模型接收由多幅图像组合而成的拼贴图，并一次性执行多图像分类，尽管精度略低。随后我们用单个 Collage-CNN 分类器增强一组传统的单图像分类器，后者充当低成本的冗余备份。若单图像分类出现掉队，Collage-CNN 则提供备份分类结果。在云中部署 Collage-CNN 模型，我们证明推理的第 99 百分位尾延迟相比基于复制的方法可降低 1.47 倍，同时提供高准确率。此外，推理延迟的波动可降低 9 倍，且仅轻微增加平均推理延迟。
引用
@article{arxiv.1906.03999,
title = {Collage Inference: Achieving low tail latency during distributed image classification using coded redundancy models},
author = {Krishna Narra and Zhifeng Lin and Ganesh Ananthanarayanan and Salman Avestimehr and Murali Annavaram},
journal= {arXiv preprint arXiv:1906.03999},
year = {2019}
}
备注
4 pages, CodML workshop at International Conference on Machine Learning (ICML 2019). arXiv admin note: text overlap with arXiv:1904.12222