通才 vs. 专才：在高度约束的生物物理序列优化任务上评估 LLM
机器学习
2025-07-30 v5 定量方法
摘要
尽管大语言模型（LLM）在生物分子优化问题中展现出潜力，但它们会产生高昂的计算成本，并且难以满足精确的约束。另一方面，像 LaMBO-2 这样的专用求解器提供了效率和细粒度控制，但需要更多的领域专业知识。由于昂贵的实验室验证和不充分的合成基准，比较这些方法具有挑战性。我们通过引入 Ehrlich 函数来解决这个问题，这是一个捕捉生物物理序列优化问题几何结构的合成测试套件。仅通过提示，现成的 LLM 难以优化 Ehrlich 函数。作为回应，我们提出了 LLOME（带边际期望的语言模型优化），这是一种用于在线黑盒优化的双层优化例程。当与一种新颖的偏好学习损失结合时，我们发现 LLOME 不仅可以学习解决某些 Ehrlich 函数，甚至可以在中等难度的 Ehrlich 变体上表现得与 LaMBO-2 一样好或更好。然而，LLM 也表现出一些似然-奖励校准失准，并在没有显式奖励的情况下表现挣扎。我们的结果表明，LLM 偶尔可以提供显著的好处，但专用求解器仍然具有竞争力，并且开销更小。
引用
@article{arxiv.2410.22296,
title = {Generalists vs. Specialists: Evaluating LLMs on Highly-Constrained Biophysical Sequence Optimization Tasks},
author = {Angelica Chen and Samuel D. Stanton and Frances Ding and Robert G. Alberstein and Andrew M. Watkins and Richard Bonneau and Vladimir Gligorijević and Kyunghyun Cho and Nathan C. Frey},
journal= {arXiv preprint arXiv:2410.22296},
year = {2025}
}
备注
Supercedes arXiv:2407.00236v1. arXiv admin note: text overlap with arXiv:2407.00236