重审 OPRO：小规模 LLM 作为优化器的局限性
计算与语言
2024-07-22 v2 人机交互
摘要
近期诸多研究旨在通过策略性提示提升大型语言模型（LLM）的效能。其中，Optimization by PROmpting（OPRO）方法通过将 LLM 作为优化器来实现最前沿性能，其优化任务在于寻找能最大化任务准确率的指令。在本文中，我们重新审视 OPRO 在使用相对小规模 LLM（如 LLaMa-2 系列和 Mistral 7B）进行自动化提示方面的效果。我们的调查发现，OPRO 在小规模 LLM 中表现有限，受限于推理能力约束其优化能力。我们建议未来的自动化提示工程需同时考虑模型能力与计算成本。此外，针对小规模 LLM，我们建议采用明确阐述目标与方法的直接指令作为稳健的提示基线，以确保在后续研究中实现高效且有效的提示工程。
引用
@article{arxiv.2405.10276,
title = {Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers},
author = {Tuo Zhang and Jinyue Yuan and Salman Avestimehr},
journal= {arXiv preprint arXiv:2405.10276},
year = {2024}
}