基于 RVL-CDIP 的文档分类评估研究
计算与语言
2023-06-23 v1
摘要
RVL-CDIP 基准被广泛用于衡量文档分类任务的性能。尽管其使用广泛，我们揭示了 RVL-CDIP 基准的几个不良特性。这些包括：(1) 大量的标签噪声，我们估计为 8.1%（在各文档类别间介于 1.6% 至 16.9%）；(2) 存在许多模糊或多标签文档；(3) 测试集与训练集划分之间存在大量重叠，这可能虚高模型性能指标；以及 (4) 存在敏感的个人信息可识别数据，如美国社会保障号码（SSNs）。我们认为使用 RVL-CDIP 来基准测试文档分类器存在风险，因为其有限的范围、错误的存在（最先进模型目前的准确率错误率已落入我们估计的标签错误率范围内）以及缺乏多样性，使其作为基准并不理想。我们进一步倡导创建新的文档分类基准，并为该资源应包含哪些特性提供建议。
引用
@article{arxiv.2306.12550,
title = {On Evaluation of Document Classification using RVL-CDIP},
author = {Stefan Larson and Gordon Lim and Kevin Leach},
journal= {arXiv preprint arXiv:2306.12550},
year = {2023}
}
备注
EACL 2023