用于离散优化的无策略参数随机自然梯度法及其在神经网络超参数优化中的应用
机器学习
2018-09-19 v1 最优化与控制
机器学习
摘要
黑箱离散优化（BBDO）广泛出现于各类工程任务中。进化或其他 BBDO 方法已被应用，旨在自动完成系统参数的必要调优，例如基于机器学习的系统在特定任务部署时的超参数调优。然而，自动化常因 BBDO 算法自身策略参数调优的需求而受损。具备领域知识的专家必须进行耗时的策略参数调优。本文提出一种基于信息几何优化的无策略参数 BBDO 算法，该框架是近期利用随机自然梯度进行黑箱优化的方法。受若干理论启示，我们为离散搜索域上的随机自然梯度法开发了策略参数的自适应机制。所提算法在常用测试问题上进行了评估，并进一步扩展到深度学习模型超参数与连接权重的同步优化两个实例中，相较于现有方法实现了更快的优化，且无需任何参数调优工作。
引用
@article{arxiv.1809.06517,
title = {Parameterless Stochastic Natural Gradient Method for Discrete Optimization and its Application to Hyper-Parameter Optimization for Neural Network},
author = {Kouhei Nishida and Hernan Aguirre and Shota Saito and Shinichi Shirakawa and Youhei Akimoto},
journal= {arXiv preprint arXiv:1809.06517},
year = {2018}
}