KOALA：面向资源受限物联网客户端的联邦知识迁移微调大服务器模型
机器学习
2024-07-09 v1 人工智能
计算机视觉与模式识别
摘要
涉及微调的大模型训练面临着高质量数据稀缺的问题。与基于集中式数据中心的解决方案相比，在物联网中更新大模型面临着利用客户端私有且异构的数据来协调来自分布式客户端的知识的挑战。为了应对这一挑战，我们提出了KOALA（面向资源受限物联网客户端的联邦知识迁移微调大服务器模型）来推动物联网中大模型的训练。由于物联网客户端获得的资源有限且受限，在本地执行大模型并以隐私保护的方式更新它们是不可行的。因此，我们利用联邦学习和知识蒸馏，通过与客户端本地运行的小模型协作来更新大模型，这些小模型可以处理其私有数据，并通过服务器与客户端之间的迭代学习实现大小模型间的知识迁移。此外，为了支持具有相似或不同计算能力的客户端，KOALA设计了两种大小模型联合学习模式，即同构模式和异构模式。实验结果表明，与传统方法相比，我们的方法不仅能达到相似的训练性能，还能显著降低对本地存储和计算资源的需求。
引用
@article{arxiv.2407.05268,
title = {Federated Knowledge Transfer Fine-tuning Large Server Model with Resource-Constrained IoT Clients},
author = {Shaoyuan Chen and Linlin You and Rui Liu and Shuo Yu and Ahmed M. Abdelmoniem},
journal= {arXiv preprint arXiv:2407.05268},
year = {2024}
}