EAML: 基于集成自注意力的互学习网络用于文档图像分类
计算机视觉与模式识别
2023-05-12 v1
摘要
近年来,复杂深度神经网络在各种文档理解任务(如文档图像分类与文档检索)中受到极大关注。由于许多文档类型具有独特的视觉风格,仅用深度CNN学习视觉特征来分类文档图像遇到了类间区分度低、类内结构变化大的问题。与此同时,在给定文档图像内将文本级理解与相应视觉属性联合学习,显著提升了分类准确率。本文设计了一个基于自注意力的融合模块,作为我们可训练集成网络中的一个块。它允许在整个训练阶段同时学习图像与文本模态的判别特征。此外,我们通过在训练阶段于图像与文本模态间迁移正向知识来鼓励互学习。该约束通过向常规监督设定中添加截断Kullback-Leibler散度损失Tr-KLD-Reg作为新的正则项来实现。据我们所知,这是首次利用互学习方法结合基于自注意力的融合模块来执行文档图像分类。实验结果在单模态与多模态的准确率方面说明了我们方法的有效性。因此,所提出的基于集成自注意力的互学习模型在基准RVL-CDIP与Tobacco-3482数据集上优于最先进的分类结果。
引用
@article{arxiv.2305.06923,
title = {EAML: Ensemble Self-Attention-based Mutual Learning Network for Document Image Classification},
author = {Souhail Bakkali and Ziheng Ming and Mickael Coustaty and Marçal Rusiñol},
journal= {arXiv preprint arXiv:2305.06923},
year = {2023}
}
备注
Accepted at IJDAR 2021