通过混合客户端选择优化的可动天线增强大语言模型联邦微调
信号处理
2025-10-28 v2
摘要
在带宽受限的 6G 链路上对大语言模型 (LLM) 进行联邦微调必须满足严格的轮次时间和能耗预算。模拟空中 (OTA) 聚合降低了上行链路成本，但对衰落和干扰敏感，这会导致聚合梯度失真。我们考虑一个两阶段工作流（集中式预训练后接联邦微调），其中基站使用可动天线 (MA) 阵列。在每一轮中，在最小间距约束下调整 MA 单元位置和收发波束成形器，以重塑信道并改善 OTA 聚合，且不增加用户发射功率。我们提出了一个混合整数非凸资源分配问题，在端到端延迟和能耗限制下，联合选择客户端并优化全局轮数、CPU 频率、小批量大小、MA 位置和模拟权重。一种逐次凸近似-惩罚对偶分解 (SCA-PDD) 算法交替进行凸更新与斜流形波束成形及间距感知 MA 放置。在 Alpaca 和 Dolly（10 个客户端）上使用 LoRA 和 4 位量化对 OpenLLaMA-v2 (3B) 进行的实验中，第 30 轮的验证困惑度低至 2.94 (Alpaca, K=1) 和 4.62 (Dolly, K=1)。与相同并发度下最强的非 MA 基线相比，这相当于困惑度降低了 17.4% (Alpaca, K=1) 和 54.4% (Dolly, K=1)；在 K=2 时，降幅分别为 14.2% (Alpaca) 和 13.7% (Dolly)。在所有上行并发度 K ∈ {1,2,4,8} 下，参与公平性也有所改善，当每轮传输的客户端较少时改善幅度最大。
引用
@article{arxiv.2506.00011,
title = {Movable Antenna Enhanced Federated Fine-Tuning of Large Language Models via Hybrid Client Selection Optimization},
author = {Yang Zhao and Yue Xiu and Chengxiao Dai and Ning Wei and Dusit Niyato},
journal= {arXiv preprint arXiv:2506.00011},
year = {2025}
}