论文关于安全贝叶斯优化中的安全性问题
机器学习
2024-03-20 v1 机器学习
摘要
在安全约束下优化未知函数是机器人学、生物医学工程等众多领域的核心任务，越来越多的安全贝叶斯优化 (BO) 被用于此类应用。鉴于这些应用的安全性关键性，确保理论安全保证在实际中落地至关重要。本文研究了SafeOpt等流行算法类中的三个安全相关问题。第一，这些算法严重依赖高斯过程 (GP) 回归的频率主义不确定性界，但具体实现通常采用启发式方法，导致所有安全保证失效。我们对此问题进行详细分析，提出Real-η-SafeOpt算法，该算法利用最新的GP界限，保留所有理论保证。第二，我们发现SafeOpt等算法中假设目标函数的再生产核希尔伯特空间 (RKHS) 范数上界是实际应用的核心障碍。为克服这一挑战，我们引入Lipschitz-only Safe Bayesian Optimization (LoSBO)算法，在不假设RKHS界限的情况下保证安全性，并经实证表明该算法不仅安全，而且在多种函数类上性能优于现有SOTA。第三，SafeOpt及其派生算法依赖离散搜索空间，难以应用于高维问题。为扩大这些算法的适用范围，我们引入Lipschitz-only GP-UCB (LoS-GP-UCB)算法，该算法适用于中等维度问题，同时保持安全性。
引用
@article{arxiv.2403.12948,
title = {On Safety in Safe Bayesian Optimization},
author = {Christian Fiedler and Johanna Menn and Lukas Kreisköther and Sebastian Trimpe},
journal= {arXiv preprint arXiv:2403.12948},
year = {2024}
}