Sonic:一种基于采样的流式应用在线控制器

机器学习与计算机视觉等重要问题领域中的许多应用都是流式应用,随时间接收一系列输入。由于最优旋钮设置通常是输入、计算平台、时间以及用户需求(可能非常多样)的函数,因此很难找到优化此类应用运行时性能的旋钮设置。大多数先前工作通过离线剖析并训练控制模型来解决该问题。然而,基于剖析的方法在执行前产生较大开销;且难以在其他运行时配置中重新部署。本文提出 Sonic,一种基于采样的长时运行流式应用在线控制器,无需提前剖析。在流式应用执行的每个阶段内,Sonic 利用起始部分对旋钮空间进行策略性采样,并针对该阶段剩余部分,在给定用户指定的约束优化问题下选取最优旋钮设置。采用机器学习回归与贝叶斯优化的混合方法以获得更好的整体采样选择。Sonic 的实现独立于应用、设备、输入、性能目标与约束。我们在传统并行基准测试以及跨多个平台的深度学习推理基准测试上评估 Sonic。实验表明,使用 Sonic 控制旋钮设置时,应用运行时性能仅比使用最优旋钮设置低 5.3%,证明 Sonic 能够在无先验知识情况下于多样运行时配置中快速找到近最优旋钮设置。