使用随机嵌入的全局优化
最优化与控制
2021-07-28 v1 机器学习
摘要
我们提出一种用于Lipschitz连续目标全局优化的随机子空间算法框架，并利用圆锥积分几何中的新工具分析其收敛性。X-REGO以顺序或同时方式将高维原问题随机投影到低维子问题，这些子问题随后可用任何全局甚至局部优化求解器求解。我们估计随机嵌入子问题与原问题（近似）共享同一全局最优解的概率。该成功概率随后被用于证明X-REGO在原问题弱假设（具有严格可行的全局解）与求解器弱假设（以保证足够高概率找到简化问题的近似全局解）下收敛至原问题的近似全局解。对于仅于低维子空间变化、具有低有效维度的无约束目标这一特例，我们提出一种X-REGO变体，其探索维度递增的随机子空间直至找到问题的有效维度，从而在有限次（与有效维度成正比）嵌入后使X-REGO全局收敛。我们通过数值实验表明，该变体高效找到了原问题的有效维度与近似全局极小点。
引用
@article{arxiv.2107.12102,
title = {Global optimization using random embeddings},
author = {Coralia Cartis and Estelle Massart and Adilet Otemissov},
journal= {arXiv preprint arXiv:2107.12102},
year = {2021}
}
备注
41 pages