DataCLUE:面向数据中心自然语言处理的基准套件
计算与语言
2021-11-18 v2 机器学习
摘要
数据中心 AI 近来被证明更为有效且高性能,而传统的以模型为中心的 AI 带来的收益越来越少。它强调提升数据集质量以获得更好的模型性能。该领域因其极强的实用性而潜力巨大,并受到越来越多的关注。然而,我们尚未看到该领域的显著研究进展,尤其在 NLP 中。我们提出 DataCLUE,这是首个应用于 NLP 领域的数据中心基准。我们还提供了三个简单但有效的基线以促进该领域研究(将 Macro-F1 提升多达 5.7 个百分点)。此外,我们与人工标注者进行了综合实验并展示了 DataCLUE 的难度。我们也尝试了一种先进方法:基于遗忘信息的自助标签校正方法。所有与 DataCLUE 相关的资源,包括数据集、工具包、排行榜与基线,均可在 https://github.com/CLUEbenchmark/DataCLUE 在线获取。
引用
@article{arxiv.2111.08647,
title = {DataCLUE: A Benchmark Suite for Data-centric NLP},
author = {Liang Xu and Jiacheng Liu and Xiang Pan and Xiaojing Lu and Xiaofeng Hou},
journal= {arXiv preprint arXiv:2111.08647},
year = {2021}
}
备注
Working In Progress. 8 pages, 9 tables, 6 figures