超越训练集：一种检测基于模型优化中分布偏移的直观方法
机器学习
2023-11-10 v1 定量方法
摘要
基于模型的优化（MBO）正日益应用于科学与工程中的设计问题。一种常见情形是使用固定训练集训练模型，旨在设计出优于训练数据中已有样本的新样本。此设定下的一个主要挑战是分布偏移，即训练样本与设计样本的分布不同。尽管由于目标是创造更优设计，一定程度的偏移在所难免，但这种变化会对模型精度乃至设计质量产生负面影响。尽管该问题十分普遍，解决它却需要深厚的领域知识与巧妙应用。为应对此问题，我们提出一种面向设计从业者的直截了当的分布偏移检测方法。该方法利用无标签设计分布的信息训练二分类器，以分离训练数据与设计数据。随后将分类器的 logit 分数用作分布偏移的代理度量。我们通过在真实应用中运行离线 MBO 验证了方法，并评估了分布偏移对设计质量的影响。我们发现设计分布中偏移的强度随优化算法步数而变化，且我们的简易方法能够识别这些偏移。这使得用户可将搜索限制于模型预测可靠的区域内，从而提升设计质量。
引用
@article{arxiv.2311.05363,
title = {Beyond the training set: an intuitive method for detecting distribution shift in model-based optimization},
author = {Farhan Damani and David H Brookes and Theodore Sternlieb and Cameron Webster and Stephen Malina and Rishi Jajoo and Kathy Lin and Sam Sinai},
journal= {arXiv preprint arXiv:2311.05363},
year = {2023}
}