对贝叶斯优化中期望改进的意外改进

期望改进（EI）可以说是贝叶斯优化中最流行的采集函数，并已找到无数成功应用，但其性能常被更近期的方法超越。值得注意的是，EI 及其变体（包括并行与多目标设定下的变体）难以优化，因为其采集值在诸多区域中数值上趋于消失。这一困难通常随观测数量、搜索空间维度或约束数量的增长而加剧，导致文献中性能不一致且多为次优。在此，我们提出 LogEI，一个采集函数新族，其成员与其规范对应项具有相同或近似相等的极值，但在数值上显著更易优化。我们证明数值病态显现于“经典”解析 EI、期望超体积改进（EHVI）以及它们的约束、含噪与并行变体中，并提出了消除这些病态的相应重构。我们的实证结果表明，LogEI 族采集函数在其规范对应项的优化性能上实现实质性提升，且令人惊讶地与近期最先进采集函数性能相当或超越之，凸显了文献中数值优化被低估的作用。