SemanticOpt：面向 LLM 的语义黑盒优化
机器学习
2026-05-18 v3 人工智能
摘要
当每个实验昂贵、耗时或难以进行时，优化实验系统将面临巨大挑战。现有的针对高成本黑盒问题的优化器（如贝叶斯优化）通常仅限于数值或类别型观测，无法利用更广泛的领域知识，如专家经验法则、相关科学论文或相似的先前实验。大语言模型（LLM）能够解释这些语义信息；然而，即便是最先进的 LLM，也难以可靠地解决黑盒优化问题。我们引入 SemanticOpt，一个语义黑盒优化框架，通过对结构化贝叶斯优化轨迹进行微调并增添自然语言上下文，为 LLM 注入优化能力。SemanticOpt 在提出新实验时同时运用数值证据和语义证据，同时产生与贝叶斯代理模型一致的可解释预测。我们构建了一系列配合语义信息的真实世界优化问题，以构建多样化的基准用于评估语义黑盒优化。我们在这些领域中通过利用相关语义信息，SemanticOpt 在平均性能上优于经典优化器和现有 LLM 方法。
引用
@article{arxiv.2510.25404,
title = {SemanticOpt: Towards LLM-Based Semantic Black-Box Optimization},
author = {Jamison Meindl and Yunsheng Tian and Tony Cui and Veronika Thost and Zhang-Wei Hong and Jie Chen and Wojciech Matusik and Mina Konaković Luković},
journal= {arXiv preprint arXiv:2510.25404},
year = {2026}
}