若LLM是巫师，则代码即为魔杖：代码如何赋能大型语言模型作为智能代理的综述
计算与语言
2024-01-09 v2
摘要
当今的大型语言模型(LLM)与过去的语言模型的不同之处不仅在于规模，还在于它们是在自然语言和形式语言（代码）的组合上训练的。作为人类与计算机之间的媒介，代码将高层目标转化为可执行步骤，具有标准语法、逻辑一致性、抽象性和模块化的特点。在本综述中，我们概述了将代码整合到LLM训练数据中的各种益处。具体而言，除了增强LLM的代码生成能力外，我们观察到代码的这些独特性质有助于(i)解锁LLM的推理能力，使其能够应用于一系列更复杂的自然语言任务；(ii)引导LLM产生结构化且精确的中间步骤，随后可通过函数调用将这些步骤与外部执行端相连接；以及(iii)利用代码编译和执行环境，这也为模型改进提供了多样化的反馈。此外，我们追溯了由代码带来的LLM这些深刻能力如何促使它们在以下情境中作为智能代理涌现：在这些情境中，理解指令、分解目标、规划与执行动作以及从反馈中改进的能力对于其在下游任务中的成功至关重要。最后，我们提出了用代码赋能LLM的若干关键挑战和未来方向。
引用
@article{arxiv.2401.00812,
title = {If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents},
author = {Ke Yang and Jiateng Liu and John Wu and Chaoqi Yang and Yi R. Fung and Sha Li and Zixuan Huang and Xu Cao and Xingyao Wang and Yiquan Wang and Heng Ji and Chengxiang Zhai},
journal= {arXiv preprint arXiv:2401.00812},
year = {2024}
}