FedCoT：面向大语言模型的通信高效联邦推理增强
计算与语言
2025-08-15 v1 人工智能
摘要
在联邦学习环境中高效增强大语言模型（LLMs）的推理能力 remains challenging，尤其是在在性能提升与严格的计算、通信和隐私约束之间进行权衡时。这一挑战在医疗领域尤为突出，因为该领域的决策涉及临床、运营和患者相关情境，要求不仅输出准确，还需提供可解释、可追溯的推理依据，以确保安全、问责和合规。传统的联邦调优方法在 LLM 上无法满足这一需求：它们主要为答案的正确性进行优化，而忽视了推理依据的质量，使得 CoT（Chain-of-Thought）能力依赖于模型的先天预训练能力。此外，现有的改进推理依据的方法通常依赖于来自集中模型的隐私违规知识蒸馏。此外，传统联邦微调 LLM 的通信开销仍然较大。我们提出 FedCoT，一种专为增强联邦环境中的推理而设计的新框架。FedCoT 利用轻量级的链式推理增强机制：本地模型生成多个推理路径，紧凑的判别器动态选择最有前景的路径。该方法在提高推理准确性和鲁棒性方面取得显著效果，同时提供有价值的可解释性，这在医疗应用中尤为关键。为高效管理客户端异构性，我们采用基于先进 LoRA 模块堆叠的改进聚合方法，纳入客户端分类器感知，以实现跨异构客户端的无噪声聚合。 comprehensive 实验在医疗推理任务上表明，FedCoT 在严格的资源预算下显著提升了客户端侧的推理性能，同时完全保护了数据隐私。
引用
@article{arxiv.2508.10020,
title = {FedCoT: Communication-Efficient Federated Reasoning Enhancement for Large Language Models},
author = {Chuan Li and Qianyi Zhao and Fengran Mo and Cen Chen},
journal= {arXiv preprint arXiv:2508.10020},
year = {2025}
}