面向资源受限设备的低能耗自适应个性化
机器学习
2024-04-01 v4 计算机视觉与模式识别
摘要
机器学习模型的个性化以应对数据漂移是物联网应用中的一个重大挑战。目前，大多数方法专注于微调整个基础模型或其最后几层以适应新数据，而常常忽略能源成本。然而，存在各种类型的数据漂移，微调整个基础模型或最后几层可能在某些场景下无法达到最优性能。我们提出目标块微调（TBFT），一种为资源受限设备设计的低能耗自适应个性化框架。我们将数据漂移和个性化分为三种类型：输入级、特征级和输出级。对于每种类型，我们微调模型的不同块以实现最佳性能并降低能耗。具体来说，输入级、特征级和输出级分别对应微调模型的前部、中部和后部块。我们在ResNet模型、三个数据集、三种不同训练大小和树莓派上评估了TBFT。与（每个块单独微调并平均其性能改进）相比，TBFT在模型准确率上平均提高了15.30%，同时与完全微调相比平均节省了41.57%的能耗。
引用
@article{arxiv.2403.15905,
title = {Towards Low-Energy Adaptive Personalization for Resource-Constrained Devices},
author = {Yushan Huang and Josh Millar and Yuxuan Long and Yuchen Zhao and Hamed Haddadi},
journal= {arXiv preprint arXiv:2403.15905},
year = {2024}
}
备注
Accepetd to The 4th Workshop on Machine Learning and Systems (EuroMLSys '24)