Lotus：面向双阶段检测器的基于学习的在线热管理与延迟变动管理
计算机视觉与模式识别
2024-10-16 v1 机器学习
摘要
双阶段目标检测器具有高准确率和精确定位能力，尤其擅长识别小目标，因而在各种边缘计算应用中受到青睐。然而，双阶段检测方法的高计算成本会在边缘设备上引发更严重的热问题，导致动态运行频率变化，从而造成较大的推理延迟波动。此外，不同帧中提案数量的动态变化会导致随时间推移的计算量差异，进一步加剧延迟波动。边缘设备上检测器的显著延迟波动会损害用户体验并浪费硬件资源。为避免热节流并提供稳定的推理速度，我们提出了一种名为 Lotus 的新型框架，专为双阶段检测器设计，基于深度强化学习（DRL）在线方式联合动态调整 CPU 和 GPU 的频率。为证明 Lotus 的有效性，我们在 NVIDIA Jetson Orin Nano 和 Mi 11 Lite 移动平台上实现了该框架。结果表明，Lotus 能在各种设置下持续且显著降低延迟波动，实现更快的推理，并维持较低的 CPU 和 GPU 温度。
引用
@article{arxiv.2410.10847,
title = {Lotus: learning-based online thermal and latency variation management for two-stage detectors on edge devices},
author = {Yifan Gong and Yushu Wu and Zheng Zhan and Pu Zhao and Liangkai Liu and Chao Wu and Xulong Tang and Yanzhi Wang},
journal= {arXiv preprint arXiv:2410.10847},
year = {2024}
}
备注
DAC'24, code is available at: https://github.com/wuyushuwys/LOTUS