隐式联邦式原样学习：用于任务特定大语言模型微调
机器学习
2025-11-11 v1 人工智能
摘要
随着大语言模型的持续发展与扩张， 其依赖的大量公共数据面临枯竭风险。因此， 在组织内部利用私有数据提升大模型性能已成为关键挑战。将联邦学习范式与模型微调技术结合， 可有效减少可训练参数的数量。然而， 处理高维特征空间的必要性导致显著的总体计算开销。为此， 本文提出隐式联邦式原样学习（IFed-ICL）框架。IFed-ICL借鉴联邦学习思想， 建立一种新型分布式协作范式， 将客户端本地上下文示例转换为隐式向量表示， 从而在推理阶段实现分布式协作计算， 并注入模型残差流以提升模型性能。实验表明， 本文提出的方法在多个文本分类任务上实现卓越的性能。相较于传统方法， IFed-ICL避免了常规微调方法对大量参数更新的需求， 在联邦学习中显著减少数据传输和客户端本地计算， 从而实现使用本地私有领域数据进行高效分布式原样学习， 大幅提升特定任务上的模型性能。
引用
@article{arxiv.2511.06757,
title = {Implicit Federated In-context Learning For Task-Specific LLM Fine-Tuning},
author = {Dongcheng Li and Junhan Chen and Aoxiang Zhou and Chunpei Li and Youquan Xian and Peng Liu and Xianxian Li},
journal= {arXiv preprint arXiv:2511.06757},
year = {2025}
}