RoMA：面向离线基于模型优化的鲁棒模型自适应
机器学习
2021-10-28 v1
摘要
我们考虑在给定输入-输出查询的静态数据集下，搜索使黑盒目标函数最大化的输入的问题。解决该问题的一个流行方法是维护一个代理模型，例如深度神经网络（DNN），来近似真实目标函数。此处的主要挑战是如何避免在搜索过程中对抗性优化的输入，即DNN高度高估真实目标函数的那些输入。为处理该问题，我们提出了一个新框架，称为鲁棒模型自适应（RoMA），基于在DNN上对已优化输入进行梯度优化。具体而言，它包含两步：(a) 鲁棒训练代理模型的预训练策略，以及 (b) 将代理模型自适应以对特定候选解集合具有鲁棒估计的新颖过程。在高层上，我们的方案利用局部平滑先验来克服DNN的脆弱性。在各种任务下的实验显示了RoMA相较于先前方法的有效性，取得了最先进（state-of-the-art）的结果，例如，RoMA在6项任务中的4项上优于所有方法，并在其余任务上获得亚军结果。
引用
@article{arxiv.2110.14188,
title = {RoMA: Robust Model Adaptation for Offline Model-based Optimization},
author = {Sihyun Yu and Sungsoo Ahn and Le Song and Jinwoo Shin},
journal= {arXiv preprint arXiv:2110.14188},
year = {2021}
}
备注
NeurIPS 2021