OAEI-LLM-T：用于理解大语言模型在本体匹配中幻觉的TBox基准数据集
人工智能
2026-01-07 v3 计算与语言
信息检索
机器学习
摘要
幻觉在使用大语言模型（LLM）的下游任务中往往不可避免。为解决针对LLM本体匹配（OM）系统的幻觉问题所面临的重大挑战，我们引入了一个新的基准数据集OAEI-LLM-T。该数据集源自本体对齐评估计划（OAEI）中的七个TBox数据集，捕获了十个不同LLM执行OM任务时的幻觉现象。这些OM特定的幻觉被组织为两个主要类别和六个子类别。我们展示了该数据集在构建OM任务的LLM排行榜以及用于微调用于OM任务的LLM方面的有用性。
引用
@article{arxiv.2503.21813,
title = {OAEI-LLM-T: A TBox Benchmark Dataset for Understanding Large Language Model Hallucinations in Ontology Matching},
author = {Zhangcheng Qiang and Kerry Taylor and Weiqing Wang and Jing Jiang},
journal= {arXiv preprint arXiv:2503.21813},
year = {2026}
}
备注
14 pages, 4 figures, 4 tables, 2 prompt templates