面向资源受限物联网环境的高效基于Transformer的超参数优化
机器学习
2024-05-03 v2 人工智能
摘要
超参数优化（HPO）过程对于找到性能最佳的卷积神经网络（CNN）至关重要。HPO的自动化过程以其庞大的计算足迹和缺乏透明度为特征；这两个因素在资源受限的物联网（IoT）环境中都很重要。本文通过提出一种结合了Transformer架构和Actor-Critic强化学习（RL）模型的新方法TRL-HPO来解决这些问题，该方法配备了多头注意力机制，可实现并行化和层的渐进式生成。这些假设通过在MNIST数据集上评估TRL-HPO并与从头构建CNN模型的最新方法进行比较而得到了实证支持。结果表明，在相同时间范围内，TRL-HPO的分类结果优于这些方法6.8%，证明了TRL-HPO在HPO过程中的效率。结果分析确定了性能下降的主要原因是堆叠全连接层。本文为在资源受限环境中改进基于RL的HPO过程确定了新的途径。
引用
@article{arxiv.2403.12237,
title = {Efficient Transformer-based Hyper-parameter Optimization for Resource-constrained IoT Environments},
author = {Ibrahim Shaer and Soodeh Nikan and Abdallah Shami},
journal= {arXiv preprint arXiv:2403.12237},
year = {2024}
}
备注
7 pages, Submitted to IEEE Internet of Things Magazine