基于 REINFORCE 与 Transformer 的超参数优化
机器学习
2020-11-06 v4 神经与进化计算
机器学习
摘要
强化学习在神经架构搜索（NAS）中已产生有前景的结果。在本文中，我们展示了如何使用简化的 Transformer 模块来建模策略网络从而提升其性能。该简化 Transformer 采用双流基于注意力的机制来建模超参数依赖关系，同时避免层归一化与位置编码。我们假定这种简约设计在模型复杂度与表达能力之间取得平衡，使其适用于在探索预算有限的高维搜索空间中发掘最优架构。我们展示了如何通过以下方式进一步提升算法性能：a) 使用 actor-critic 风格算法替代朴素策略梯度；b) 集成具有共享参数的 Transformer 模块，每个模块以不同的自回归分解顺序为条件。我们的算法作为 NAS 与通用超参数优化（HPO）算法均表现良好：它在用于基准测试 NAS 算法的公开数据集 NAS-Bench-101 上优于大多数算法。特别地，它优于使用其他架构建模策略网络的基于 RL 的方法，凸显了在此设定中使用基于注意力网络的价值。作为通用 HPO 算法，它在跨越 2 个回归任务发现更准确的多层感知机模型架构方面优于随机搜索。我们在设计实验与报告结果时遵循了 Lindauer 与 Hutter 所列的准则。
引用
@article{arxiv.2006.00939,
title = {Hyperparameter optimization with REINFORCE and Transformers},
author = {Chepuri Shri Krishna and Ashish Gupta and Swarnim Narayan and Himanshu Rai and Diksha Manchanda},
journal= {arXiv preprint arXiv:2006.00939},
year = {2020}
}