基于扩散模型的离线模型驱动优化验证指标探索
机器学习
2024-01-17 v3 机器学习
摘要
在模型驱动优化（MBO）中，我们关注利用机器学习来设计候选样本，以最大化关于称为（真实）预言机（oracle）的黑盒函数的某种奖励度量，该预言机计算代价高昂，因为其涉及执行真实世界过程。在离线 MBO 中，我们希望在不假设训练或验证期间可访问此类预言机的情况下做到这一点，这使得评估并非直截了当。虽然可以训练真实预言机的近似并在模型验证时替代它，以度量所生成候选样本上的平均奖励，但该评估是近似的且易受对抗样本攻击。在该近似上度量生成候选样本的平均奖励即是这样一种“验证指标”，而我们感兴趣的一个更基本的问题，是找出哪些验证指标与真实情况相关性最强。这涉及提出验证指标，并在许多已知真实情况的数据库（例如模拟环境）上对其进行量化。这被概括于我们提出的评估框架之下，该框架还旨在度量外推，而外推正是利用生成模型进行 MBO 背后的终极目标。尽管我们的评估框架与模型无关，我们具体评估了去噪扩散模型，因其最先进的性能，并得出有趣见解，例如对最有效验证指标进行排序以及讨论重要超参数。
引用
@article{arxiv.2211.10747,
title = {Exploring validation metrics for offline model-based optimisation with diffusion models},
author = {Christopher Beckham and Alexandre Piche and David Vazquez and Christopher Pal},
journal= {arXiv preprint arXiv:2211.10747},
year = {2024}
}