面向科学排行榜构建的任务、数据集、评价指标与数值分数识别
计算与语言
2019-06-25 v1 人工智能
摘要
尽管新颖任务与新数据集的快速涌现有助于推动社区朝有趣方向开展活跃研究，但追踪不同领域、不同数据集上大量的研究活动可能变得愈发困难。社区可极大受益于能够自动总结科学结果（例如以排行榜形式）的系统。本文中我们构建两个数据集并开发了一个框架（TDMS-IE），旨在从 NLP 论文中自动抽取任务、数据集、指标与分数，以迈向排行榜的自动构建。实验表明，我们的模型大幅优于若干基线。我们的模型是迈向自动排行榜构建（例如 NLP 领域）的第一步。
引用
@article{arxiv.1906.09317,
title = {Identification of Tasks, Datasets, Evaluation Metrics, and Numeric Scores for Scientific Leaderboards Construction},
author = {Yufang Hou and Charles Jochim and Martin Gleize and Francesca Bonin and Debasis Ganguly},
journal= {arXiv preprint arXiv:1906.09317},
year = {2019}
}
备注
ACL 2019