LifeLearner：面向嵌入式计算平台的硬件感知元持续学习系统
机器学习
2023-11-21 v1 人工智能
计算机视觉与模式识别
摘要
持续学习（CL）使用户个性化、家用机器人等应用能够即时学习并适应上下文。当上下文、动作和用户发生变化时，这是一项重要特性。然而，由于有限的标注数据、内存和计算能力，在资源受限的嵌入式系统上启用 CL 具有挑战性。本文中，我们提出 LifeLearner，一种硬件感知元持续学习系统，在确保高精度的同时大幅优化系统资源（更低内存、延迟、能耗）。具体而言，我们（1）利用元学习和重演策略显式应对数据稀缺问题并确保高精度，（2）有效结合无损与有损压缩以显著减少 CL 和重演样本的资源需求，（3）考虑硬件特性在嵌入式和 IoT 平台上开发硬件感知系统。结果，LifeLearner 实现了近最优的 CL 性能，精度仅比 Oracle 基线低 2.8%。相较于最先进（SOTA）的元 CL 方法，LifeLearner 大幅降低了内存占用（178.7 倍）、端到端延迟 80.8-94.2%，以及能耗 80.9-94.2%。此外，我们成功将 LifeLearner 部署于两台边缘设备和一微控制器单元，从而在资源受限平台上实现高效 CL，而此类平台上运行 SOTA 方法并不现实，并由此实现可适应 CL 的普适化深远部署。代码见 https://github.com/theyoungkwon/LifeLearner。
引用
@article{arxiv.2311.11420,
title = {LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded Computing Platforms},
author = {Young D. Kwon and Jagmohan Chauhan and Hong Jia and Stylianos I. Venieris and Cecilia Mascolo},
journal= {arXiv preprint arXiv:2311.11420},
year = {2023}
}
备注
Accepted for publication at SenSys 2023