大型语言模型辅助本体评估
人工智能
2026-03-13 v1
摘要
通过功能性要求（如通过 competency question (CQ) 验证进行测试）进行的本体评估是众所周知的，但代价高昂、工作量大且容易出错，即便是本体工程专家也是如此。本文引入了 OE-Assist，一种 novel 框架，用于通过自动化和准自动化 CQ 验证辅助本体评估。通过呈现和利用一组包含 1,393 个 CQ 与相应本体及本体故事的 dataset，我们的贡献据称是首次系统性调查大型语言模型 (LLM) 辅助本体评估，包括：(i) 评估 LLM 方法在自动执行 CQ 验证方面的效果，与手动创建的 gold standard 进行比较；(ii) 开发和评估 LLM 驱动的框架以辅助 CQ 验证，提供建议。我们发现，基于 o1-preview 和 o3-mini 的自动 LLM 评估在相当程度上与平均用户的性能相当。
引用
@article{arxiv.2507.14552,
title = {Large Language Models Assisting Ontology Evaluation},
author = {Anna Sofia Lippolis and Mohammad Javad Saeedizade and Robin Keskisärkkä and Aldo Gangemi and Eva Blomqvist and Andrea Giovanni Nuzzolese},
journal= {arXiv preprint arXiv:2507.14552},
year = {2026}
}