带拉格朗日对偶优化的约束感知联邦学习：面向设备端语言模型
机器学习
2025-10-13 v2 计算与语言
分布式、并行与集群计算
摘要
我们提出了 Constraint-Aware Federated Learning with Lagrangian Dual Optimization (CAFL-L)，是 FedAvg 的一种原则性扩展，显式包含设备级资源约束，包括能源、通信、内存和热预算。CAFL-L 采用拉格朗日对偶优化，动态适应训练超参数 - 冻结深度、本地步骤、批量大小和通信压缩 - 通过梯度累积保持 token 预算，从而维持训练稳定性。在字符级语言模型上进行实验，表明 CAFL-L 在约束满足方面优于标准 FedAvg（内存使用降低 20%，通信降低 95%），同时保持具竞争力的验证性能，使其可实际部署在资源受限的边缘设备上。
引用
@article{arxiv.2510.03298,
title = {CAFL-L: Constraint-Aware Federated Learning with Lagrangian Dual Optimization for On-Device Language Models},
author = {Dongqi Zheng and Wenjin Fu},
journal= {arXiv preprint arXiv:2510.03298},
year = {2025}
}
备注
Accepted by 39th NeurIPS - Constrained Optimization for Machine Learning