像人类一样学习：基于认知发展阶段的资源高效联邦微调
机器学习
2025-08-04 v1 人工智能
分布式、并行与集群计算
摘要
联邦微调使大语言模型（LLM）能够在保持数据隐私的前提下适应下游任务，但其资源密集型特性限制了在边缘设备上的部署。本文引入基于认知发展的联邦调优（Developmental Federated Tuning, DevFT），一种受认知发展启发的资源高效方法，通过分阶段构建强大的LLM。DevFT将微调过程分解为发展阶段，每个阶段都优化具有越来越大参数容量的子模型。来自早期阶段的知识传递给后续子模型，提供优化后的初始化参数，防止收敛到局部极小值并加速训练。这一范式模拟了人类学习的过程，逐步构建完整的知识结构，同时不断精炼既有技能。为高效构建阶段化子模型，DevFT引入去冲突引导的层分组和基于差分的层融合，以提炼关键信息并构建代表性层。跨多个基准的评估显示，DevFT显著优于当前最先进的方法，实现了最高可达4.59倍的收敛速度提升、10.67倍的通信开销降低以及9.07%的平均性能提升，同时与现有方法保持兼容性。
引用
@article{arxiv.2508.00041,
title = {Learning Like Humans: Resource-Efficient Federated Fine-Tuning through Cognitive Developmental Stages},
author = {Yebo Wu and Jingguang Li and Zhijiang Guo and Li Li},
journal= {arXiv preprint arXiv:2508.00041},
year = {2025}
}