Llama：用于视频分析流水线自动调优的异构无服务器框架
分布式、并行与集群计算
2021-05-31 v2
摘要
配备摄像头的设备与大型视频存储库的激增催生了多样化的视频分析应用。这些应用依赖视频流水线（表示为操作的有向无环图 DAG）来转换视频、处理提取的元数据，并回答诸如“这个十字路口拥堵吗？”之类的问题。流水线的延迟与资源效率可通过每个操作的可配置旋钮（如采样率、批大小或所用硬件类型）进行优化。然而，确定高效配置具有挑战性，因为（a）配置搜索空间呈指数级庞大，（b）最优配置取决于用户期望的延迟与成本目标，（c）输入视频内容可能遍历 DAG 中不同路径并产生可变数量的中间结果。现有视频分析与处理系统交由用户手动配置操作并选择硬件资源。我们提出 Llama：一个用于自动调优视频流水线的异构无服务器框架。给定端到端延迟目标，Llama 通过（a）为每个操作调用计算延迟目标，以及（b）动态运行基于成本的优化器以在异构硬件上分配配置，从而最优地满足所计算的每调用延迟目标，来实现成本效率优化。这使得大型视频流水线的自动调优问题易于处理，并使我们能处理输入相关行为、DAG 中的条件分支以及执行可变性。我们描述了 Llama 中的算法，并在使用无服务器 CPU 与 GPU 资源的云平台上对其评估。我们表明，与最先进的集群与无服务器视频分析及处理系统相比，Llama 平均实现了 7.8 倍更低延迟与 16 倍成本降低。
引用
@article{arxiv.2102.01887,
title = {Llama: A Heterogeneous & Serverless Framework for Auto-Tuning Video Analytics Pipelines},
author = {Francisco Romero and Mark Zhao and Neeraja J. Yadwadkar and Christos Kozyrakis},
journal= {arXiv preprint arXiv:2102.01887},
year = {2021}
}