集成于仪表与控制系统的机器学习方法的动态模型无关可靠性评估
摘要
近年来，基于数据驱动神经网络的机器学习（ML）算法领域显著增长，并推动了其在仪表与控制系统适用性方面的研究。尽管这些算法在运行环境中前景广阔，但此类算法的可信性尚未得到充分评估。集成ML系统的失效机理尚不清楚；缺乏全面的风险建模会降低这些系统的可信性。在美国国家标准与技术研究院（National Institute for Standards and Technology）近期的报告中，ML的可信性被视为采用的关键障碍，并将在智能系统的安全与可问责运行中发挥重要作用。因此，在本工作中，我们展示了一种实时模型无关方法，通过对训练数据集进行分布外检测来评估ML预测的相对可靠性。已有充分文献表明，ML算法擅长插值（或近插值）任务，但在外推时性能显著下降。当新样本与训练样本“相距甚远”时即发生此种情况。该方法称为拉普拉斯分布衰减可靠性法（Laplacian distributed decay for reliability, LADDR），用于确定运行数据集与训练数据集之间的差异，并据此计算预测的相对可靠性。LADDR在一个基于前馈神经网络的模型上进行了演示，该模型用于预测不同失流瞬态过程中的安全重要因子。LADDR旨在作为“数据监督器”，在运行工况背景下判定训练良好的ML模型是否适用。最终，LADDR说明了在常规插值任务中，训练数据如何作为证据来支持ML预测的可信性。
引用
@article{arxiv.2308.05120,
title = {Dynamic Model Agnostic Reliability Evaluation of Machine-Learning Methods Integrated in Instrumentation & Control Systems},
author = {Edward Chen and Han Bao and Nam Dinh},
journal= {arXiv preprint arXiv:2308.05120},
year = {2023}
}
备注
This paper was originally presented at the 13th Nuclear Plant Instrumentation, Control & Human-Machine Interface Technologies conference and was awarded best student paper