面向高昂评估函数的信息论方法

在许多由工程应用驱动的全局优化问题中，函数评估的次数受到时间或成本的严格限制。为确保每一次评估都为定位全局最小值的好候选贡献作用，通常会进行序列化的评估点选择。特别是当采用Kriging对过去的评估进行插值时，函数在缺失信息处的不确定性可以表达并用于计算一系列准则，以衡量在给定点进行额外评估的意义。本文引入了最小熵（minimizer entropy）作为一种新的Kriging基准准则，用于序列化选择函数应评估的点。该准则基于逐步不确定性降减，衡量新一次评估对预期最小值的信息增益。该准则通过对Kriging背后高斯过程模型的条件仿真进行近似，然后插入类似“有效全局优化”（Efficient Global Optimization, EGO）算法的算法框架。进行了与期望改进（expected improvement）等文献中参考准则之间的实证比较。实验结果表明，该方法在EGO方面实现了显著的评估节省。最后，该方法称为IAGO（Informational Approach to Global Optimization），并扩展至鲁棒优化问题，其中既要调节的因素又以及函数评估都受噪声的侵扰。