探究在Tobacco-3482与RVL-CDIP上训练的文本分类器的分布外泛化能力
计算与语言
2021-08-06 v1
摘要
为了具备足够的鲁棒性以被广泛采用，涉及机器学习模型的文档分析系统必须能够对落于模型训练所用数据分布之外的输入给出正确响应。本文探究了在标准文档分类数据集上训练的文本分类器在推理时对分布外文档的泛化能力。我们以Tobacco-3482与RVL-CDIP数据集为起点，生成新的分布外评估数据集，以分析在这些标准数据集上训练模型的泛化性能。我们发现，在较小的Tobacco-3482数据集上训练的模型在我们的新分布外数据上表现糟糕，而在较大的RVL-CDIP上训练的文本分类模型则表现出较小的性能下降。
引用
@article{arxiv.2108.02684,
title = {Exploring Out-of-Distribution Generalization in Text Classifiers Trained on Tobacco-3482 and RVL-CDIP},
author = {Stefan Larson and Navtej Singh and Saarthak Maheshwari and Shanti Stewart and Uma Krishnaswamy},
journal= {arXiv preprint arXiv:2108.02684},
year = {2021}
}
备注
DIL @ ICDAR 2021