基于确定性知识图谱结构的大规模生成式 AI 持续监控
人工智能
2025-09-05 v1
摘要
生成式 AI (GEN AI) 模型在各类应用领域取得了突破，但因可靠性问题（如幻觉、语义漂移和内在偏见）带来了显著挑战。这些模型通常以黑盒形式运行， complicating 透明且客观的评估。当前的评估方法主要依赖主观的人类评估，限制了可扩展性、透明度和有效性。本研究提出一种系统性方法，利用确定性和大型语言模型 (LLM) 生成的知识图谱 (KG) 持续监控和评估 GEN AI 的可靠性。我们构建了两个并行的 KG：(i) 基于显式规则方法、预定义本体、领域特定词典和结构化实体-关系提取规则构建的确定性 KG；(ii) 从实时文本流（如实时新闻）中动态生成的 LLM 生成 KG。利用实时新闻流确保真实性，减轻重复训练带来的偏见，并防止自适应 LLM 通过记忆反馈来规避既定基准。为量化结构偏差和语义差异，我们采用包括即时实例化比率 (ICR)、即时属性比率 (IPR) 和类实例化 (CI) 在内的多个已建立 KG 指标。自动化的实时监控框架持续计算确定性 KG 与 LLM 生成 KG 之间的偏差。通过基于历史结构指标分布建立动态异常阈值，我们的方法主动识别并标记显著偏差，从而及时检测语义异常或幻觉。这种基于确定性 KG 与动态生成 KG 之间结构化、指标驱动的比较，提供了一种稳健且可扩展的评估框架。
引用
@article{arxiv.2509.03857,
title = {Continuous Monitoring of Large-Scale Generative AI via Deterministic Knowledge Graph Structures},
author = {Kishor Datta Gupta and Mohd Ariful Haque and Hasmot Ali and Marufa Kamal and Syed Bahauddin Alam and Mohammad Ashiqur Rahman},
journal= {arXiv preprint arXiv:2509.03857},
year = {2025}
}