Legilimens：面向 SoC 边缘设备的高性能视频分析系统
计算机视觉与模式识别
2025-05-01 v1 机器学习
摘要
持续重新训练模型已成为在边缘设备上实现高精度视频分析的主要技术之一。然而，现有系统通过依赖传统（内存受限）边缘服务器的剩余计算资源来实现此类适应性。在 contrast，移动边缘设备如无人机和 Dashcam 具有根本不同的资源配置：计算能力较弱，但拥有丰富的统一内存池。我们提出的 Legilimens 是一种面向移动边缘 SoC GPU 的持续学习系统。我们的核心洞察在于，视觉上具有显著差异的场景在模型嵌入中 exhibits substantial overlap；如果将其捕获到基础模型中，则针对每个新场景的专门化训练可变得轻量级，只需极少样本。为实际实现此方法，Legilimens 提出了新的计算高效技术：(1) 选择高效能数据样本用于重新训练专门模型，(2) 在不进行完整重新训练的情况下更新基础模型，(3) 在重新训练与实时推理之间进行时间共享，以实现最大精度。 在多样化的工作负载测试中，Legilimens 将重新训练成本降低 2.8-10 倍，实现 18-45% 的精度提升。
引用
@article{arxiv.2504.21136,
title = {Legilimens: Performant Video Analytics on the System-on-Chip Edge},
author = {Murali Ramanujam and Yinwei Dai and Kyle Jamieson and Ravi Netravali},
journal= {arXiv preprint arXiv:2504.21136},
year = {2025}
}