ODIN：克服推理流水线中的动态干扰
分布式、并行与集群计算
2023-06-05 v1
摘要
随着越来越多的企业由机器学习驱动，推理成为一项核心操作，并日益呈现出作为一种服务被提供的趋势。在此背景下，推理任务必须满足某些服务级目标（SLO），例如高吞吐量和低延迟。然而，这些目标可能会受到由长期或短期共置任务所引起的干扰的损害。先前的工作关注于通用的协同调度问题，以减轻干扰对性能关键型任务的影响。在本工作中，我们聚焦于推理流水线，并提出 ODIN，一种基于流水线阶段在线调度来减轻干扰对推理任务性能影响的技术。我们的技术在线检测干扰，并自动重新平衡流水线阶段，以减轻推理任务的性能退化。我们证明 ODIN 成功减轻了干扰的影响，维持了 CNN 推理的延迟和吞吐量，并且优于最小负载调度（LLS），一种常见的干扰缓解技术。此外，它能有效维持推理的服务级目标，并且可扩展到在多个处理单元上执行的大型网络模型。
引用
@article{arxiv.2306.01679,
title = {ODIN: Overcoming Dynamic Interference in iNference pipelines},
author = {Pirah Noor Soomro and Nikela Papadopoulou and Miquel Pericàs},
journal= {arXiv preprint arXiv:2306.01679},
year = {2023}
}
备注
To appear at Euro-Par 2023