面向资源受限 CPS 和 IoT 的基于基础模型的相关数据分析 CoRAST
机器学习
2024-09-10 v1 人工智能
摘要
基础模型 (FMs) 作为一种引导分布式和多样化环境数据、利用先验知识理解复杂时空相关性的解决方案,正在成为处理异构数据集的有前景的方案。与 federated learning 等分布式学习框架不同,后者常在处理多模态数据时感到困难,而 FMs 可以将多样化输入转换为嵌入表示。这一过程促进了来自 various modalities 的信息集成,并将先验学习应用于新领域。然而,在资源受限的边缘系统中部署 FMs 面临着显著挑战。为此,我们引入 CoRAST ,一个 novel learning framework,用于增强分析分布式、相关异构数据。利用基于服务器的 FMs,CoRAST 可利用现有环境信息从传感器数据中提取时相关性、空相关性以及跨模态相关性。这使 CoRAST 能够通过 FMs 提供的全局 representation learning 为局部分配任务提供情境感知见解。我们在真实世界的天气数据集上进行评估,表明 CoRAST 能够通过环境 representation learning 来挖掘相关异构数据,将预测误差降低最高可达 50.3%。
引用
@article{arxiv.2403.18451,
title = {CoRAST: Towards Foundation Model-Powered Correlated Data Analysis in Resource-Constrained CPS and IoT},
author = {Yi Hu and Jinhang Zuo and Alanis Zhao and Bob Iannucci and Carlee Joe-Wong},
journal= {arXiv preprint arXiv:2403.18451},
year = {2024}
}
备注
accepted and to be published in 2024 IEEE International Workshop on Foundation Models for Cyber-Physical Systems & Internet of Things (FMSys)