基于神经架构搜索的个性化联邦指令微调
机器学习
2024-02-28 v1
摘要
联邦指令微调（FIT）已展现出在不共享私有数据的情况下，在海量数据所有者之间实现协作模型指令微调的能力。然而，它仍面临两个关键挑战，即数据和资源的异构性。由于数据所有者之间的数据分布和偏好各异，FIT 无法适应单个所有者的个性化数据。此外，具有优越计算能力的客户端受到限制，因为它们需要维持与较弱客户端相同的微调架构。为解决这些问题，我们提出了一种基于架构搜索的新型个性化联邦指令微调（PerFIT）框架。具体而言，PerFIT 允许每个客户端通过扩展全局模型的可训练参数空间，随后将参数剪枝回原始状态，从而搜索个性化的架构。这一过程允许在扩展的参数空间内进行个性化指令微调，同时保持可训练参数数量不变。此外，为了释放异构计算资源的能力并增强本地数据上的个性化性能，我们利用了个性化的逐参数聚合。在多种大语言模型（LLM）的非独立同分布（non-IID）场景下的评估表明，与最先进的 FIT 方法相比，我们的方法可实现高达 23% 的困惑度降低。
引用
@article{arxiv.2402.16919,
title = {Personalized Federated Instruction Tuning via Neural Architecture Search},
author = {Pengyu Zhang and Yingbo Zhou and Ming Hu and Junxian Feng and Jiawen Weng and Mingsong Chen},
journal= {arXiv preprint arXiv:2402.16919},
year = {2024}
}