拼贴推理：利用编码冗余实现低方差分布式图像分类
计算机视觉与模式识别
2019-09-11 v2 分布式、并行与集群计算
信息论
机器学习
math.IT
机器学习
摘要
云计算平台提供的MLaaS（机器学习即服务）产品正变得越来越流行。在云中托管预训练的机器学习模型可实现随需求增长而弹性扩展。但提供低延迟并降低延迟方差是一项关键要求。由于跨多个虚拟实例的资源分配存在不确定性，在云部署中方差更难控制。我们提出了拼贴推理技术，其使用一种新颖的卷积神经网络模型collage-cnn来提供低成本冗余。collage-cnn模型接收由多幅图像组合而成的拼贴图像，并一次性执行多图像分类，尽管精度略低。我们用单个collage-cnn分类器（作为低成本冗余备份）来增强一组传统的单图像分类器模型。若任何单图像分类请求出现减速，collage-cnn提供备份分类结果。在云中部署collage-cnn模型，我们证明与基于复制的方法相比，推理的第99百分位尾部延迟可降低1.2倍至2倍，同时保持高精度。推理延迟的波动可降低1.8倍至15倍。
引用
@article{arxiv.1904.12222,
title = {Collage Inference: Using Coded Redundancy for Low Variance Distributed Image Classification},
author = {Krishna Giri Narra and Zhifeng Lin and Ganesh Ananthanarayanan and Salman Avestimehr and Murali Annavaram},
journal= {arXiv preprint arXiv:1904.12222},
year = {2019}
}
备注
10 pages, Under submission