从功耗轨迹到权重矩阵：一种非传统的迁移学习方法
机器学习
2025-02-24 v1
摘要
在系统芯片（SoC）上部署机器学习（ML）模型的快速增长，已在医疗保健和自动驾驶等领域引发变革。培训此类嵌入式ML模型的首要挑战之一是缺乏可公开获取的高质量训练数据。迁移学习方法通过利用现有ML模型中封装的知识作为训练新ML模型的起点来解决此挑战。然而，现有的迁移学习方法需要直接访问现有模型，而这在尤其是用于嵌入式SoC的ML模型时往往不可行。因此，本文引入了一种新颖的非传统迁移学习方法，通过从SoC上运行的现有ML模型中提取并使用权重来训练新ML模型，而无需获取SoC内的模型。我们的做法从SoC在执行ML模型时捕获的功耗消耗测量中提取信息，并将其转换为用于初始化新ML模型的近似权重矩阵。这一方法提高了新模型的学习效率和预测性能，尤其在仅有有限训练数据可用于训练模型的场景中效果显著。我们的新方法可使新ML模型的准确率提高最高可达经相同有限训练数据进行经典训练方法的3倍。
引用
@article{arxiv.2502.14968,
title = {P2W: From Power Traces to Weights Matrix -- An Unconventional Transfer Learning Approach},
author = {Roozbeh Siyadatzadeh and Fatemeh Mehrafrooz and Nele Mentens and Todor Stefanov},
journal= {arXiv preprint arXiv:2502.14968},
year = {2025}
}