H2Tune：基于混合异构性的联邦基础模型微调
机器学习
2025-08-01 v2 人工智能
摘要
与现有针对基础模型的联邦微调（FFT）方法不同，混合异构性联邦微调（HHFFT）是一种较少探索的场景，即客户端在模型架构和下游任务方面 exhibits 双重异构性。这种混合异构性引入了两个显著挑战：1）异构矩阵聚合，其中客户端根据任务需求和资源限制采用不同的大型基础模型，导致 LoRA 参数聚合时的维度不匹配；2）多任务知识干扰，其中本地共享参数同时包含任务共享和任务特定知识，无法确保仅传递任务共享知识 between clients。为解决这些挑战，我们提出了 H2Tune，即一种混合异构性联邦基础模型微调框架。我们的框架 H2Tune 包含三个关键组件：(i) 稀疏化三矩阵分解，通过构建秩一致的中间矩阵来对齐跨客户端的隐藏维度，基于客户端资源进行自适应稀疏化；(ii) 关系引导矩阵层对齐，用于处理异构层结构和表示能力；(iii) 交替任务知识解�合机制，通过交替优化解耦本地模型参数的共享与特定知识。理论分析证明收敛率为 。大量实验表明，我们的方法相较于最先进的基线可实现最高 15.4% 的准确率提升。我们的代码可在 https://anonymous.4open.science/r/H2Tune-1407 上获取。
引用
@article{arxiv.2507.22633,
title = {H2Tune: Federated Foundation Model Fine-Tuning with Hybrid Heterogeneity},
author = {Wei Guo and Siyuan Lu and Yiqi Tong and Zhaojun Hu and Fuzhen Zhuang and Xiao Zhang and Tao Fan and Jin Dong},
journal= {arXiv preprint arXiv:2507.22633},
year = {2025}
}