立场：利用基础模型进行黑盒优化

不可否认，大型语言模型（LLMs）在机器学习研究领域引发了非凡的创新浪潮，对强化学习、机器人技术和计算机视觉等多个领域产生了重大影响。它们的融入迅速且具有变革性，标志着机器学习研究领域的重大范式转变。然而，基于黑盒优化的实验设计领域受这种范式转变的影响要小得多，尽管将LLMs与优化相结合呈现出一个独特且值得探索的领域。在这篇立场论文中，我们围绕基于序列的基础模型构建黑盒优化领域，并组织它们与先前文献的关系。我们讨论了基础语言模型能够革新优化的最有前景的方式，包括利用自由形式文本中蕴含的丰富信息来增强任务理解，利用高度灵活的序列模型（如Transformer）来设计更优的优化策略，以及在未见过的搜索空间上提升性能预测。