网页智能体的共生合作：发掘大型与小型 LLM 互补优势
多智能体系统
2025-03-10 v2 机器学习
摘要
由大型语言模型 (LLM) 提供动力的网页浏览智能体在自动化复杂网页任务方面展现出巨大潜力。现有方法通常依赖大型 LLM (如 GPT-4o) 探索网页环境并生成轨迹数据，随后用于演示检索（供大型 LLM 使用）或蒸馏小型 LLM（如 Llama3），但该过程与探索过程脱节。本文提出 AgentSymbiotic 框架，将数据合成与任务性能紧密耦合，实现大型与小型 LLM 的“共生式提升”。我们的研究发现，LLM 类型之间存在互补动态：大型 LLM 擅长生成高质量轨迹用于蒸馏，而蒸馏后的小型 LLM 因其独特的推理能力，往往选择与大型 LLM 不同的行动，从而驱动新轨迹的探索，丰富合成数据。然而，我们也观察到小型 LLM 的性能在迭代提升过程中成为瓶颈。为此，我们提出两种 LLM 蒸馏创新措施：一种用于缓解离策略偏差的拟验数据合成策略，以及旨在提升学生 LLM 推理能力的多任务学习方法。此外，我们引入一种用于隐私保护的混合模式。评估于 WEBARENA 数据集，AgentSymbiotic 在两种 LLM 类型上均实现了最新成绩。我们的优秀大型 LLM 智能体达到52%，超越前一最佳成绩45%；而我们的8B蒸馏模型展现竞争力的49%，超越前一最佳成绩28%。代码将在论文接受后发布。
引用
@article{arxiv.2502.07942,
title = {Symbiotic Cooperation for Web Agents: Harnessing Complementary Strengths of Large and Small LLMs},
author = {Ruichen Zhang and Mufan Qiu and Zhen Tan and Mohan Zhang and Vincent Lu and Jie Peng and Kaidi Xu and Leandro Z. Agudelo and Peter Qian and Tianlong Chen},
journal= {arXiv preprint arXiv:2502.07942},
year = {2025}
}