智能体舰队：基于大语言模型的协同问题求解
计算与语言
2025-05-13 v3 人工智能
机器学习
神经与进化计算
摘要
尽管已有众多框架被开发用于增强大语言模型（LLMs）的推理能力，但有效平衡成本与质量之间权衡的方法仍然稀缺。在本文中，我们引入了智能体舰队（FoA），这是一个新颖、直观且有原则的框架，它利用LLMs作为智能体，采用遗传型粒子滤波方法在动态树搜索中导航。FoA生成大量智能体，每个智能体自主探索搜索空间，随后进入一个选择阶段，在此阶段基于启发式价值函数的重采样优化了探索与利用之间的平衡。这种机制实现了动态分支，能够根据已发现的解调整探索策略。我们在三个基准任务（“24点游戏”、“迷你填字游戏”和“WebShop”）上，使用四种不同的LLMs（“GPT-3.5”、“GPT-4”、“LLaMA3.2-11B”和“LLaMA3.2-90B”）进行了广泛的实验。在所有任务和LLMs上，FoA平均获得了约5%的质量提升，而成本仅为先前SOTA方法的约40%。值得注意的是，我们的分析揭示：(1) FoA在所有基准方法中实现了最佳的成本-质量权衡；(2) FoA + LLaMA3.2-11B超越了Llama3.2-90B模型。FoA已在https://github.com/au-clan/FoA上公开可用。
引用
@article{arxiv.2405.06691,
title = {Fleet of Agents: Coordinated Problem Solving with Large Language Models},
author = {Lars Klein and Nearchos Potamitis and Roland Aydin and Robert West and Caglar Gulcehre and Akhil Arora},
journal= {arXiv preprint arXiv:2405.06691},
year = {2025}
}
备注
ICML 2025; 28 pages, 68 figures, 8 tables