面向高效离线基于模型优化的集成冲突规避梯度优化
机器学习
2023-04-03 v1
摘要
数据驱动的离线基于模型优化（MBO）是一种成熟的实用方法，适用于真实目标函数未知且查询代价高昂的黑盒计算设计问题。然而，标准方法针对真实目标的学习代理模型优化设计，可能遭受分布偏移。具体而言，在有效设计位于狭窄流形的高维设计空间中，标准方法易产生分布外、无效的设计，这些设计“欺骗”学习代理模型输出高值。使用集成而非单一模型作为学习代理可帮助缓解分布偏移，但结合集成梯度信息的朴素形式，如最小或平均梯度，仍非最优且常受非收敛行为困扰。本工作中，我们探索结合集成梯度信息的替代方法，其对分布偏移鲁棒且不损害所产生设计的最优性。更具体地，我们探索两个构造为凸优化问题的函数用于结合梯度信息：多梯度下降算法（MGDA）和冲突规避梯度下降（CAGrad）。我们在五个不同的计算设计任务上评估这些算法。我们将集成 MBO 配 MGDA、集成 MBO 配 CAGrad 与三种朴素基线算法比较：（a）标准单模型 MBO，（b）平均梯度集成 MBO，以及（c）最小梯度集成 MBO。我们的结果表明，MGDA 和 CAGrad 在保守性与最优性间取得理想平衡，可提升数据驱动离线 MBO 的鲁棒性而不损害设计最优性。
引用
@article{arxiv.2303.17934,
title = {Conflict-Averse Gradient Optimization of Ensembles for Effective Offline Model-Based Optimization},
author = {Sathvik Kolli},
journal= {arXiv preprint arXiv:2303.17934},
year = {2023}
}