通过学习语言模型嵌入实现通用离线黑盒优化
机器学习
2025-06-10 v1 人工智能
神经与进化计算
摘要
通用黑盒优化（BBO）算法的追求是一个长期存在的目标。然而，与语言或视觉等领域不同，结构化数据的规模化推动了泛化，而在离线BBO领域的进展却因缺乏统一的异构数值空间表示而受限。因此，现有的离线BBO方法局限于单任务和固定维度设置，无法实现跨域通用优化。近期语言模型（LMs）的进展为实现这一目标提供了可行的路径：它们的嵌入以统一方式捕获不同数据类型之间的潜在关系，可能实现跨域通用优化。本文讨论了多种潜在方法，包括以下一词预测形式的端到端学习框架，以及优先学习具强大表征能力的潜在空间。为验证这些方法的有效性，我们收集了来自开源学术作品的离线BBO任务和数据用于训练。实验表明，我们提出的方法在通用性和有效性方面均表现出色。我们的发现表明，统一语言模型先验和学习字符串嵌入空间可以克服传统BBO中的传统障碍，为通用BBO算法铺平了道路。代码已提供于https://github.com/lamda-bbo/universal-offline-bbo。
引用
@article{arxiv.2506.07109,
title = {Towards Universal Offline Black-Box Optimization via Learning Language Model Embeddings},
author = {Rong-Xi Tan and Ming Chen and Ke Xue and Yao Wang and Yaoyuan Wang and Sheng Fu and Chao Qian},
journal= {arXiv preprint arXiv:2506.07109},
year = {2025}
}
备注
ICML 2025