面向通用工业智能：工业物联网中的持续大模型综述
机器学习
2024-12-30 v2
摘要
工业 AI 正在从传统深度学习模型向大规模基于 Transformer 的架构转变，工业物联网 (IIoT) 在其中发挥着关键作用。IIoT 正从简单的数据管道演变为智能基础设施，为这些先进的 AI 系统提供支持并提升其性能。本综述探讨了 IIoT 与大模型 (LM) 的集成及其在工业环境中的潜在应用。我们关注四类主要工业 LM：基于语言的模型、基于视觉的模型、基于时间序列的模型和多模态模型。LM 的生命周期被划分为四个关键阶段：数据基础、模型训练、模型连接和持续演化。首先，我们分析 IIoT 提供的丰富且多样化的数据资源如何支持 LM 的训练和微调。其次，我们讨论 IIoT 在低延迟和带宽优化环境中提供的高效训练基础设施。第三，我们强调 LM 在 IIoT 中的部署优势，突出 IIoT 作为连接枢纽的作用，通过模块化设计、动态路由和模型合并来促进系统的可扩展性和适应性。最后，我们展示 IIoT 支持持续学习机制，使 LM 能适应动态的工业环境，确保其长期有效性。本文强调了 IIoT 在工业智能向大模型演进中的关键作用，提供了理论框架和可操作的研究见解。
关键词
引用
@article{arxiv.2409.01207,
title = {Towards General Industrial Intelligence: A Survey of Continual Large Models in Industrial IoT},
author = {Jiao Chen and Jiayi He and Fangfang Chen and Zuohong Lv and Jianhua Tang and Weihua Li and Zuozhu Liu and Howard H. Yang and Guangjie Han},
journal= {arXiv preprint arXiv:2409.01207},
year = {2024}
}