为物联网设备推荐预训练模型

Parth V. Patil; Wenxin Jiang; Huiyun Peng; Daniel Lugo; Kelechi G. Kalu; Josh LeBlanc; Lawrence Smith; Hyeonwoo Heo; Nathanael Aou; James C. Davis

为物联网设备推荐预训练模型

机器学习 2024-12-30 v1 人工智能软件工程

作者: Parth V. Patil , Wenxin Jiang , Huiyun Peng , Daniel Lugo , Kelechi G. Kalu , Josh LeBlanc , Lawrence Smith , Hyeonwoo Heo , Nathanael Aou , James C. Davis

在 arXiv 上查看 ↗ PDF ↗

摘要

预训练模型 (PTM) 的可用性已使机器学习跨越应用程序的部署速度大幅提升, 由于无需大量训练. 量化和蒸馏等技术进一步扩展了 PTM 在资源受限物联网硬件上的适用性. 鉴于给定任务有众多 PTM 选项, 工程师往往发现评估每个模型适合性的成本过高. 诸如 LogME、LEEP 和 ModelSpider 等方法可通过估算任务相关性来简化模型选择, 而无需进行详尽的调优. 然而, 这些方法在很大程度上将硬件约束留给了未来的工作 - 这在物联网环境中是一个重要局限. 本文识别了当前模型推荐方法在硬件约束方面的局限性, 并提出了一种新颖的面向硬件的 PTM 选择方法. 我们还提出了一项研究议程, 以指导开发有效且具有硬件意识的模型推荐系统以适用于物联网应用.

关键词

预训练模型物联网设备模型选择硬件约束推荐系统

引用

@article{arxiv.2412.18972,
  title  = {Recommending Pre-Trained Models for IoT Devices},
  author = {Parth V. Patil and Wenxin Jiang and Huiyun Peng and Daniel Lugo and Kelechi G. Kalu and Josh LeBlanc and Lawrence Smith and Hyeonwoo Heo and Nathanael Aou and James C. Davis},
  journal= {arXiv preprint arXiv:2412.18972},
  year   = {2024}
}

备注

Accepted at SERP4IOT'25

为物联网设备推荐预训练模型

摘要

关键词

引用

备注

相关论文