大语言模型用于学术本体生成：工程领域的全面分析
数字图书馆
2025-06-12 v2 人工智能
信息检索
摘要
研究主题的本体对结构化科学知识至关重要，使科学家能够浏览广泛的研究范围，并构成智能系统如搜索引擎和推荐系统的基础。然而，手动创建这些本体成本高昂、缓慢，往往导致过时且过于宽泛的表示。作为解决方案，研究人员正在探索自动化或半自动化生成这些本体的方法。本文提供了大语言模型(LLM)识别不同研究主题之间语义关系能力的全面分析，这是此类本体开发的关键步骤。为此，我们基于IEEE词典开发了基准，以评估识别主题对之间四种关系类型：更广泛、更窄、相同和其他。我们的研究评估了十七种 LLM 的性能，这些模型在规模、可访问性(开放 vs. 专有)和模型类型(完整 vs. 量化)方面有所不同，同时还评估了四种零-shot 推理策略。several 模型取得了卓越的成绩，包括 Mixtral-8x7B、Dolphin-Mistral-7B 和 Claude 3 Sonnet，其 F1 分数分别为 0.847、0.920 和 0.967。此外，我们的发现表明，经过提示工程优化的较小型量化模型，可在计算资源显著更少的情况下，达到相当于大型专有模型的性能。
引用
@article{arxiv.2412.08258,
title = {Large Language Models for Scholarly Ontology Generation: An Extensive Analysis in the Engineering Field},
author = {Tanay Aggarwal and Angelo Salatino and Francesco Osborne and Enrico Motta},
journal= {arXiv preprint arXiv:2412.08258},
year = {2025}
}
备注
Now accepted to Information Processing & Management. this is the camera ready