基于大语言模型的文本知识嵌入通用工业过程任务软测量建模方法
人工智能
2025-01-10 v1 机器学习
摘要
数据驱动软测量（DDSS）已成为过程工业中预测关键性能指标的主流方法。然而，DDSS的开发需要在建模过程中针对各种任务进行复杂且昂贵的定制设计。此外，DDSS局限于单一的结构化数据模态，限制了其融入额外上下文知识的能力。此外，DDSS有限的表示学习导致在数据稀缺时预测性能较弱。为了解决这些挑战，我们提出了一个名为LLM-TKESS（基于大语言模型的文本知识嵌入软测量）的通用框架，利用LLM强大的通用问题解决能力、跨模态知识迁移能力和少样本能力来增强软测量建模。具体来说，提出了辅助变量序列编码器（AVS Encoder）以释放LLM在捕捉序列内时间关系和辅助变量间空间语义关系方面的潜力。然后，我们提出了一种两阶段微调对齐策略：第一阶段，通过自回归训练进行参数高效微调，使LLM快速适应过程变量数据，得到软测量基础模型（SSFM）。随后，通过训练适配器，我们在不修改SSFM架构的情况下使其适应各种下游任务。接着，我们提出了两种基于文本的知识嵌入软测量传感器，融合新的自然语言模态以克服纯结构化数据模型的局限性。此外，得益于LLM预存的先验世界知识，我们的模型在小样本条件下展现出卓越的预测能力。以空气预热器转子热变形为案例，我们通过大量实验验证了LLM-TKESS的出色性能。
引用
@article{arxiv.2501.05075,
title = {A Text-Based Knowledge-Embedded Soft Sensing Modeling Approach for General Industrial Process Tasks Based on Large Language Model},
author = {Shuo Tong and Han Liu and Runyuan Guo and Xueqiong Tian and Wenqing Wang and Ding Liu and Youmin Zhang},
journal= {arXiv preprint arXiv:2501.05075},
year = {2025}
}