基于领域知识检索增强大语言模型的具备不确定性感知与自解释能力的软测量方法
机器学习
2025-01-09 v2 人工智能
信号处理
摘要
数据驱动的软测量在预测工业系统中的关键性能指标方面至关重要。然而，当前方法主要依赖于参数更新的监督学习范式，这固有地面临开发成本高、鲁棒性差、训练不稳定和缺乏可解释性等挑战。最近，大语言模型在各个领域展现了巨大潜力，特别是通过上下文学习（ICL），它仅需少量输入-标签示例且无需预先训练即可实现高性能任务执行。本文旨在用新兴的 ICL 范式替代监督学习进行软测量建模，以解决现有挑战并探索新的发展途径。为此，我们提出了一种名为少样本不确定性感知与自解释软测量（LLM-FUESS）的新框架，该框架包含零样本辅助变量选择器（LLM-ZAVS）和不确定性感知少样本软测量（LLM-UFSS）。LLM-ZAVS 从工业知识向量存储中进行检索，以增强 LLM 的特定领域知识，实现零样本辅助变量选择。在 LLM-UFSS 中，我们利用结构化数据的基于文本的上下文示例来提示 LLM 执行 ICL 以进行预测，并提出了一种上下文样本检索增强策略以提升性能。此外，我们探索了 LLM 的 AIGC 和概率特性，提出了自解释和不确定性量化方法，以构建可信赖的软测量。大量实验表明，我们的方法实现了最先进的预测性能、强大的鲁棒性和灵活性，有效缓解了传统方法中存在的训练不稳定问题。据我们所知，这是首个利用 LLM 构建软测量的工作。
引用
@article{arxiv.2501.03295,
title = {A Soft Sensor Method with Uncertainty-Awareness and Self-Explanation Based on Large Language Models Enhanced by Domain Knowledge Retrieval},
author = {Shuo Tong and Han Liu and Runyuan Guo and Wenqing Wang and Xueqiong Tian and Lingyun Wei and Lin Zhang and Huayong Wu and Ding Liu and Youmin Zhang},
journal= {arXiv preprint arXiv:2501.03295},
year = {2025}
}