学习协作：面向点对点大语言模型联邦的编排化去中心化框架
机器学习
2026-01-27 v1 人工智能
密码学与安全
分布式、并行与集群计算
多智能体系统
摘要
为特定领域微调大型语言模型(LLM)受到了根本性挑战：需要多样化、跨组织的数据与数据隐私与主权原则之间的矛盾。虽然联邦学习(FL)提供了无需原始数据交换的协作框架，但其经典的集中式形式引入了单点故障，仍然 vulnerable to 模型反演攻击。去中心化联邦学习(DFL)通过移除中心聚合器来缓解此风险，但通常依赖于低效的随机点对点(P2P)配对，形成对代理异构性和负迁移风险盲目的协作图。本文提出KNEXA-FL，一种 novel 的编排化去中心化框架，以解决此权衡。KNEXA-FL采用非聚合的中央档案/匹配器(CPM)，将P2P协作建模为情境 bandit问题，基于抽象代理档案使用 LinUCB 算法学习最优匹配策略。它通过安全蒸馏在异构的、基于 PEFT 的 LLM 代理之间进行直接知识交换，而无需接触模型本身。我们的全面实验在具有挑战性的代码生成任务上显示，KNEXA-FL 相对于随机P2P协作取得显著提升，使 Pass@1 提升约50%。关键的是，我们的编排方法表现出稳定的收敛性，与强大的集中式蒸馏基线形成鲜明对比，后者因性能灾难性崩溃而受限。我们的工作确立了自适应、基于学习的编排作为构建稳健且有效去中心化 AI 生态系统的基础原则。
引用
@article{arxiv.2601.17133,
title = {Learning to Collaborate: An Orchestrated-Decentralized Framework for Peer-to-Peer LLM Federation},
author = {Inderjeet Singh and Eleonore Vissol-Gaudin and Andikan Otung and Motoyoshi Sekiya},
journal= {arXiv preprint arXiv:2601.17133},
year = {2026}
}
备注
Accepted to AAAI 2026. 13 pages, 3 figures, 10 tables. Code available at: https://github.com/FujitsuResearch/knexa-fl