微调 SLM 还是提示 LLM？以生成低代码工作流为例
机器学习
2025-07-18 v2 人工智能
计算与语言
摘要
诸如 GPT-4o 这样的大语言模型 (LLM) 在给定合适提示的情况下能够处理各种复杂任务。随着每 token 成本的降低，针对实际应用微调小语言模型 (SLM) 的优势——更快的推理速度、更低的成本——可能不再明显。在本工作中，我们提供证据表明，对于需要结构化输出的特定领域任务，SLM 仍具有质量优势。我们在以 JSON 形式生成低代码工作流的任务上，对比了微调 SLM 与提示 LLM 的效果。我们观察到，尽管良好的提示可以产生合理的结果，但微调可使质量平均提升 10%。我们还进行了系统的错误分析以揭示模型的局限性。
引用
@article{arxiv.2505.24189,
title = {Fine-Tune an SLM or Prompt an LLM? The Case of Generating Low-Code Workflows},
author = {Orlando Marquez Ayala and Patrice Bechard and Emily Chen and Maggie Baird and Jingfei Chen},
journal= {arXiv preprint arXiv:2505.24189},
year = {2025}
}
备注
8 pages, 7 figures. Accepted to Workshop on Structured Knowledge for Large Language Models (SKnowLLM) at KDD 2025