CMA-ES 的离散版本
机器学习
2019-02-13 v2 机器学习
摘要
现代机器学习使用越来越先进的优化技术来寻找最优超参数。每当目标函数非凸、不连续且可能存在多个局部极小值时，标准梯度下降优化方法便会失效。最后一种且非常不同的方法是假设最优值（未必唯一）按某种分布分布，并根据测试点迭代地调整该分布。这些策略起源于 1960 年代初，称为进化策略 (ES)，并在 CMA-ES（协方差矩阵适应）ES 中达到顶峰。它依赖于多元正态分布，并被认为是通用优化程序的 state of the art。然而，对于离散变量它远非最优。本文中，我们将该方法推广到多元相关二项分布。对于此类分布，我们证明其具有与多元正态分布类似的特征：独立与相关等价，且相关可通过不同变量间的相互作用高效建模。我们在指数族框架下讨论该分布。我们证明该模型不仅能估计两变量间的两两相互作用，还能建模更高阶相互作用。这使得创建可高效处理离散变量的 CMA-ES 版本成为可能。我们给出了相应算法并作总结。
引用
@article{arxiv.1812.11859,
title = {A discrete version of CMA-ES},
author = {Eric Benhamou and Jamal Atif and Rida Laraki},
journal= {arXiv preprint arXiv:1812.11859},
year = {2019}
}
备注
11 pages