OneAdapt：基于反向传播快速适配视频分析应用配置
机器学习
2024-12-13 v2 人工智能
分布式、并行与集群计算
多媒体
网络与互联网体系结构
摘要
对流式媒体数据的深度学习推理，如视频或激光雷达馈送中的目标检测以及从声波中提取文本，现已无处不在。为获得高推理准确率，这些应用通常需要大量网络带宽来收集高保真数据，并需要大量 GPU 资源来运行深度神经网络（DNNs）。虽然通过最优适配配置旋钮（如视频分辨率与帧率）可大幅降低对网络带宽和 GPU 资源的高需求，但当前的适配技术无法同时满足三项要求：适配配置（i）具有最小额外 GPU 或带宽开销；（ii）基于数据如何影响最终 DNN 准确率做出近优决策；（iii）适用于一系列配置旋钮。本文提出 OneAdapt，其利用梯度上升策略适配配置旋钮以满足上述要求。核心思想是借助 DNN 的可微性快速估计准确率相对于各配置旋钮的梯度，称为 AccGrad。具体而言，OneAdapt 通过两个梯度相乘估计 AccGrad：InputGrad（即各配置旋钮如何影响 DNN 输入）与 DNNGrad（即 DNN 输入如何影响 DNN 推理输出）。我们在五类配置、四项分析任务与五类输入数据上评估了 OneAdapt。与 SOTA 适配方案相比，OneAdapt 在保持相当准确率的同时将带宽与 GPU 使用量降低 15–59%，或在使用相等或更少资源的情况下将准确率提升 1–5%。
引用
@article{arxiv.2310.02422,
title = {OneAdapt: Fast Configuration Adaptation for Video Analytics Applications via Backpropagation},
author = {Kuntai Du and Yuhan Liu and Yitian Hao and Qizheng Zhang and Haodong Wang and Yuyang Huang and Ganesh Ananthanarayanan and Junchen Jiang},
journal= {arXiv preprint arXiv:2310.02422},
year = {2024}
}
备注
SoCC' 23