用于在线模型生成的 OAEI 机器学习数据集
信息检索
2024-04-30 v1
摘要
本体与知识图谱匹配系统每年由本体对齐评估倡议（OAEI）进行评估。越来越多的系统使用基于机器学习的方法，包括大语言模型。训练和验证数据集通常由系统开发者确定，且经常使用参考对齐的一个子集。这种抽样违反了 OAEI 规则，使得公平比较无法实现。此外，这些模型是离线训练的（一个训练并优化好的模型被封装进匹配器中），因此系统是专门为这些任务训练的。在本文中，我们引入了一个数据集，其中包含了大多数 OAEI 赛道的训练集、验证集和测试集。因此，在线模型学习（系统必须在没有人工干预的情况下适应给定的输入对齐）成为可能，从而实现对基于机器学习的系统的公平比较。我们通过微调流行系统的置信度阈值来展示该数据集的实用性。
引用
@article{arxiv.2404.18542,
title = {OAEI Machine Learning Dataset for Online Model Generation},
author = {Sven Hertling and Ebrahim Norouzi and Harald Sack},
journal= {arXiv preprint arXiv:2404.18542},
year = {2024}
}
备注
accepted as ESWC 2024 Poster