联邦化的情境LLM代理学习
机器学习
2024-12-12 v1 人工智能
计算与语言
密码学与安全
摘要
大型语言模型(LLM)通过启用逻辑推理、工具使用及与外部系统交互作为代理，已彻底革新了智能服务。然而，LLM的进步常受限于高质量数据的稀缺，尤其是其中大量数据本质上就涉及隐私。联邦学习(FL)通过在保护私有数据的前提下促进分布式LLM的协同训练，提供了潜在解决方案。然而，FL框架面临显著的带宽和计算需求，以及来自异构数据分布的挑战。LLM的新兴情境学习能力提供了一条可行路径，通过聚合自然语言而非庞大的模型参数来实现此目的。然而，这种方法风险在于会导致隐私泄露，因为聚合过程中需要收集和呈现来自各个客户的数据样本。本文提出一种新颖的隐私保护联邦情境LLM代理学习(FICAL)算法，据我们所知，这是首个将情境学习的强大能力释放给FL以训练多样化LLM代理的工作。在我们的设计中，由新颖的LLM增强知识精选生成(KCG)模块生成的知识精选在客户和服务器之间传输，而非以前的FL方法中的模型参数。此外，我们设计了一个基于检索增强生成(RAG)的工具学习与利用(TLU)模块，并将聚合后的全局知识精选作为教师，用于教导LLM代理如何使用工具。我们进行了大量实验，结果表明FICAL在与其他SOTA基线竞争的同时，通信成本降低了倍。
引用
@article{arxiv.2412.08054,
title = {Federated In-Context LLM Agent Learning},
author = {Panlong Wu and Kangshuo Li and Junbao Nan and Fangxin Wang},
journal= {arXiv preprint arXiv:2412.08054},
year = {2024}
}