FedCoT：面向大语言模型的联邦链律蒸馏
计算与语言
2025-11-11 v2 人工智能
摘要
大语言模型（LLM）已然成为人工智能领域的变革性力量，展现出卓越的跨任务能力。然而，其在资源受限环境中的部署以及用户数据隐私的担忧，构成了重要挑战。相较而言，小语言模型（SLM）虽具计算效率优势，却常常在性能上处于劣势。为此，我们提出 FedCoT，一个面向链律（Chain-of-Thought, CoT）蒸馏的联邦框架，用于将知识从 LLM 安全、高效地传递至资源受限客户端的 SLM，同时确保数据隐私。FedCoT 利用扰动化的提示词和通过 CoT 方法生成的推理过程，提升客户端 SLM 的性能，而不妥协用户数据隐私。我们提出了两种隐私保护策略：指数机制策略 与 自适应指数机制策略，平衡用户提示隐私与推理可用性。在多项文本生成任务上的实证评估表明，FedCoT 在注重数据隐私保护的前提下，有效提升了任务特定 SLM 的性能。我们的代码已贡献至 FATE 开源项目，现已公开 disponibles at \textit{https://github.com/FederatedAI/FATE-LLM/tree/main/python/fate_llm/algo/fedcot}。
引用
@article{arxiv.2406.12403,
title = {FedCoT: Federated Chain-of-Thought Distillation for Large Language Models},
author = {Tao Fan and Weijing Chen and Yan Kang and Guoqiang Ma and Hanlin Gu and Yuanfeng Song and Lixin Fan and Qiang Yang},
journal= {arXiv preprint arXiv:2406.12403},
year = {2025}
}