关于进化策略中的协方差- Hessian 关系
神经与进化计算
2019-10-29 v2 机器学习
摘要
我们考虑仅在正二次目标函数上采用各向同性高斯变异的进化策略,并研究通过截断所选个体构造的协方差矩阵。我们证明,随着种群规模 增大,基于 -选择决策向量得到的协方差矩阵与景观 Hessian 矩阵的逆矩阵成比例。这推广了先前在假设采样发生于最优值附近时证明的等价现象。它进一步证实了经典假设:对景观的统计学习是标准进化策略的固有特征,且这一区别性能力仅源于各向同性高斯变异与基于秩的选择的使用。我们对所证结果给出了广泛的数值验证,并给出了其向 -选择推广的经验证据。
引用
@article{arxiv.1806.03674,
title = {On the Covariance-Hessian Relation in Evolution Strategies},
author = {Ofer M. Shir and Amir Yehudayoff},
journal= {arXiv preprint arXiv:1806.03674},
year = {2019}
}