面向多模态多任务智能的无线网络层次化联邦基础模型：边缘学习与D2D/P2P驱动的雾学习架构集成
机器学习
2025-12-23 v1 人工智能
摘要
基础模型（FMs）的兴起已重塑了机器学习格局。随着这些模型持续增长，利用无线设备的地理分布数据变得日益关键，这催生了联邦基础模型（FFMs）。最近，FMs 已演变为多模态多任务（M3T）FMs（如GPT-4），能够处理跨多个任务的多种模态，这激发了新的未充分探索的范式：M3T FFMs。本文提出一种未探索的M3T FFMs变体，称为层次化联邦基础模型（HF-FMs），这两种被忽视的异构性维度直接影响这些新兴模型：（i）收集模态性的异构性，（ii）在雾/边缘节点中执行任务的异构性。HF-FMs 将 M3T FMs 的模块化结构——包括模态编码器、提示、混合专家（MoEs）、适配器和任务头——与雾/边缘基础设施的层次化特性相结合。此外，HF-FMs 允许在可行时使用设备到设备（D2D）通信，实现水平模块中继和节点间的本地协作训练。通过深入HF-FMs的架构设计，我们强调其独特能力及其一系列量身定制的未来研究方向。最后，为展示其潜力，我们在无线网络环境中原型化HF-FMs，并发布开源代码以促进此未被开发的领域的探索（GitHub: https://github.com/payamsiabd/M3T-FFM）。
引用
@article{arxiv.2509.03695,
title = {Hierarchical Federated Foundation Models over Wireless Networks for Multi-Modal Multi-Task Intelligence: Integration of Edge Learning with D2D/P2P-Enabled Fog Learning Architectures},
author = {Payam Abdisarabshali and Fardis Nadimi and Kasra Borazjani and Naji Khosravan and Minghui Liwang and Wei Ni and Dusit Niyato and Michael Langberg and Seyyedali Hosseinalipour},
journal= {arXiv preprint arXiv:2509.03695},
year = {2025}
}
备注
7 pages, 2 figures, 1 table