通过联邦迁移学习 grounding 基础模型：一个通用框架
机器学习
2024-04-01 v9 人工智能
摘要
诸如GPT-4等基础模型（FMs）编码了海量知识并具备强大的涌现能力，已在各类自然语言处理与计算机视觉任务中取得显著成功。通过使FMs适应特定领域任务或以其增强领域知识来 grounding FMs，使我们能够充分挖掘其潜力。然而，grounding FMs面临若干挑战，主要源于受限的计算资源、数据隐私、模型异构性与模型所有权。联邦迁移学习（FTL）作为联邦学习与迁移学习的结合，为应对这些挑战提供了有前景的方案。近年来，利用FTL来grounding FMs（称为FTL-FM）的需求在学术界与工业界均强烈涌现。受FTL-FM研究的强劲增长及其对工业应用潜在影响的推动，我们提出一个FTL-FM框架，该框架形式化了联邦学习设定下grounding FMs的问题，并基于该框架构建细致的分类体系以归类最先进的FTL-FM工作，且依据所提分类体系全面综述FTL-FM研究。我们还将FTL-FM与传统的FM适配阶段建立对应，以便FM从业者将其研究与FTL-FM对齐。此外，我们综述了先进的效率提升与隐私保护技术，因为效率与隐私是FTL-FM中的关键关切。最后，我们讨论了FTL-FM的机遇与未来研究方向。
引用
@article{arxiv.2311.17431,
title = {Grounding Foundation Models through Federated Transfer Learning: A General Framework},
author = {Yan Kang and Tao Fan and Hanlin Gu and Xiaojin Zhang and Lixin Fan and Qiang Yang},
journal= {arXiv preprint arXiv:2311.17431},
year = {2024}
}
备注
In progress