大模型时代的联邦学习：领域特定的多模态大模型
机器学习
2023-08-25 v3 人工智能
摘要
能够综合感知与识别物理世界的多模态数据，已成为通向通用人工智能的重要路径。然而，在公开数据集上训练的多模态大模型在特定工业领域中往往表现不佳。本文提出一种多模态联邦学习框架，使多家企业能够利用私有领域数据协同训练面向垂直领域的大模型，实现跨场景的智能服务。作者深入探讨了联邦学习在大模型时代于智能基础与目标上的战略转型，以及其在异构数据、模型聚合、性能与成本权衡、数据隐私和激励机制方面面临的新挑战。论文详述了一个由龙头企业贡献多模态数据与专家知识于城市安全运营管理的案例，包括联邦学习平台的分布式部署与高效协同，以及基于大模型能力的数据质量提升技术与高效联合微调方法等方面的技术创新。初步实验表明，企业可通过多模态模型联邦学习增强并积累智能能力，从而共同打造覆盖能源基础设施安全、居民社区安防与城市运营管理的智慧城市模型，提供高质量智能服务。所建立的联邦学习合作生态有望进一步汇聚产学研资源，在多个垂直领域落地大模型，并推动人工智能的规模化产业应用与多模态联邦学习的前沿研究。
引用
@article{arxiv.2308.11217,
title = {Federated Learning in Big Model Era: Domain-Specific Multimodal Large Models},
author = {Zengxiang Li and Zhaoxiang Hou and Hui Liu and Ying Wang and Tongzhi Li and Longfei Xie and Chao Shi and Chengyi Yang and Weishan Zhang and Zelei Liu and Liang Xu},
journal= {arXiv preprint arXiv:2308.11217},
year = {2023}
}