用于大规模黑盒优化的有限记忆矩阵自适应
神经与进化计算
2017-05-19 v1 机器学习
最优化与控制
摘要
协方差矩阵自适应进化策略（CMA-ES）是一种在梯度信息不可用时处理非凸和/或随机优化问题的常用方法。基于 CMA-ES，最近提出的矩阵自适应进化策略（MA-ES）提供了一个相当令人惊讶的结果，即 CMA-ES 中的协方差矩阵及所有相关操作（例如，潜在不稳定的特征分解）可以由一个更新的变换矩阵替代，而没有任何性能损失。为了进一步简化 MA-ES 并将其 的时间和存储复杂度降低至 ，我们提出了用于高效零阶大规模优化的有限记忆矩阵自适应进化策略（LM-MA-ES）。该算法在一组公认的大规模基准测试上展现了 SOTA 性能。我们在为（非光滑）随机森林分类器生成对抗输入的问题上探索了该算法，展示了该分类器令人惊讶的脆弱性。
引用
@article{arxiv.1705.06693,
title = {Limited-Memory Matrix Adaptation for Large Scale Black-box Optimization},
author = {Ilya Loshchilov and Tobias Glasmachers and Hans-Georg Beyer},
journal= {arXiv preprint arXiv:1705.06693},
year = {2017}
}