资源受限系统上的高效多任务学习
分布式、并行与集群计算
2023-02-28 v1
摘要
我们提出 Antler，它利用多任务推理系统中所有任务对之间的亲和性来构建任务集的紧凑图表示，并找到任务的最优执行顺序，从而在精度保持与最先进水平相近的同时，降低端到端推理的时间与能耗成本。Antler 的设计基于两点观察：第一，运行在同一平台上的任务表现出亲和性，借此可找到任务的紧凑图表示，有助于避免任务集中重叠子任务的不必要计算；第二，运行在同一系统中的任务可能存在依赖关系，借此可找到任务的最优排序，有助于避免依赖任务或任务剩余部分的不必要计算。我们实现了两个系统：一个基于 16 位 TI MSP430FR5994 的定制超低功耗系统，以及一个基于 32 位 ARM Cortex M4/M7 的现成 STM32H747 板。我们使用这些系统进行了数据集驱动的实验以及真实世界部署。我们观察到，与所有基线系统相比，Antler 的执行时间与能耗均为最低，并且通过利用任务的相似性并重用先前任务的中间结果，Antler 将推理时间减少了 2.3X -- 4.6X，并节省了 56\% -- 78\% 的能耗，相较于最先进水平。
引用
@article{arxiv.2302.13155,
title = {Efficient Multitask Learning on Resource-Constrained Systems},
author = {Yubo Luo and Le Zhang and Zhenyu Wang and Shahriar Nirjon},
journal= {arXiv preprint arXiv:2302.13155},
year = {2023}
}