将多目标贝叶斯优化与强化学习结合用于TinyML
机器学习
2025-01-24 v3 人工智能
摘要
在微控制器上部署深度神经网络（DNNs，即TinyML）是处理边缘端日益增长传感器数据的普遍趋势，但在实践中，资源与延迟约束使得寻找最优DNN候选者十分困难。神经架构搜索（NAS）是实现该搜索自动化的极佳途径，且可轻易与TinyML中常用的DNN压缩技术结合。然而，许多NAS技术不仅计算昂贵（尤其是超参数优化（HPO）），还常聚焦于仅优化单一目标，例如最大化准确率，而忽视DNN的内存需求或计算复杂度等额外目标，这些对边缘部署可行性至关重要。本文提出一种基于多目标贝叶斯优化（MOBOpt）与一组使用增强随机搜索（ARS）强化学习（RL）智能体训练的竞争参数策略集成的TinyML新型NAS策略。我们的方法旨在高效寻找DNN预测准确率、给定目标系统内存需求与计算复杂度之间的权衡。实验表明，我们在ResNet-18与MobileNetV3等不同数据集与架构上持续优于现有MOBOpt方法。
引用
@article{arxiv.2305.14109,
title = {Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML},
author = {Mark Deutel and Georgios Kontes and Christopher Mutschler and Jürgen Teich},
journal= {arXiv preprint arXiv:2305.14109},
year = {2025}
}
备注
ACM Transactions on Evolutionary Learning and Optimization, 14 pages, 9 figures