面向运维智能的可信知识提取
计算与语言
2025-10-28 v3 人工智能
摘要
从组织数据存储库中派生运营智能是一项关键挑战，由于数据保密性与数据集成目标之间的矛盾，以及自然语言处理（NLP）工具相对于运营和维护等特定领域知识结构的局限性。本文我们讨论了知识图谱的构建，并将知识提取过程分解为其命名实体识别、指代消解、命名实体链接和关系抽取功能组件。我们随后评估了十六种NLP工具的联合或比较性能，与快速进步的大语言模型（LLM）能力相当。我们聚焦于面向航空业可信应用的运营和维护智能用例。从 rich public domain US联邦航空管理局（Federal Aviation Administration, FAA）数据集中派生基准数据集，该数据集聚焦于设备故障或维修需求。我们评估了那些可以在受控、保密环境中运行的NLP和LLM工具的零样本性能（不将数据发送到第三方）。基于我们对显著性能局限性的观察，我们讨论了可信NLP和LLM工具的挑战以及它们在航空业等使命关键行业中更广泛应用的技术成熟度。我们以建议提高可信度为结论，并提供我们的开源精选数据集以支持后续基准测试和评估。
引用
@article{arxiv.2507.22935,
title = {Trusted Knowledge Extraction for Operations and Maintenance Intelligence},
author = {Kathleen P. Mealey and Jonathan A. Karr and Priscila Saboia Moreira and Paul R. Brenner and Charles F. Vardeman},
journal= {arXiv preprint arXiv:2507.22935},
year = {2025}
}