面向实证人工智能研究的排行榜自动挖掘
计算与语言
2021-09-28 v1 人工智能
数字图书馆
摘要
随着研究出版物的快速增长，赋予科学家对科学进展的全局掌控能力至关重要。在这方面，信息组织的排行榜（Leaderboards）面向通过聚合解决同一研究挑战的各项研究的实证结果，提供了最先进水平的概览。诸如PapersWithCode等众包工作致力于主要为人工智能各子领域构建排行榜。排行榜提供了机器可读的学术知识，已被证明对科学家追踪研究进展直接有用。排行榜的构建可通过自动化文本挖掘大幅加速。本研究提出了一种基于知识图谱的学术信息组织生成排行榜的综合方法。具体而言，我们研究了使用最先进的Transformer模型（即Bert、SciBert和XLNet）进行排行榜自动构建的问题。我们的分析揭示了一种最优方法，其在F1上评估分数超过90%，显著优于该任务的现有基线。这进而为排行榜抽取提供了新的最先进结果。因此，下一代数字图书馆中可组织大量实证人工智能研究作为知识图谱。
引用
@article{arxiv.2109.13089,
title = {Automated Mining of Leaderboards for Empirical AI Research},
author = {Salomon Kabongo and Jennifer D'Souza and Sören Auer},
journal= {arXiv preprint arXiv:2109.13089},
year = {2021}
}