评估文档图像分类器的分布外性能
计算机视觉与模式识别
2023-01-19 v2 计算与语言
摘要
文档分类器处理来自不同于训练分布的数据的能力对于稳健部署和泛化性至关重要。RVL-CDIP 语料库是文档分类的事实标准基准，但据我们所知，所有使用该语料库的研究均未包含对分布外文档的评估。本文中，我们策划并发布了一个新的分布外基准，用于评估文档分类器的分布外性能。我们的新分布外基准由两类文档组成：不属于 RVL-CDIP 16 个域内类别中任何一类的文档（RVL-CDIP-O），以及属于 16 个域内类别之一但取自不同于原始 RVL-CDIP 数据集分布的文档（RVL-CDIP-N）。尽管先前关于域内 RVL-CDIP 文档分类的工作报告了高准确率分数，我们发现这些模型在我们的新域外 RVL-CDIP-N 基准上准确率下降了约 15-30%，并且进一步难以区分域内 RVL-CDIP-N 与域外 RVL-CDIP-O 输入。我们的新基准为研究人员提供了分析文档分类器分布外性能的宝贵新资源。我们的新分布外数据可在 https://github.com/gxlarson/rvl-cdip-ood 获取。
引用
@article{arxiv.2210.07448,
title = {Evaluating Out-of-Distribution Performance on Document Image Classifiers},
author = {Stefan Larson and Gordon Lim and Yutong Ai and David Kuang and Kevin Leach},
journal= {arXiv preprint arXiv:2210.07448},
year = {2023}
}
备注
NeurIPS D&B 2022