ViBERTgrid BiLSTM-CRF：从非结构化金融文件中进行多模态关键信息提取
人工智能
2024-09-24 v1 计算与语言
计算机视觉与模式识别
信息检索
摘要
多模态关键信息提取（KIE）模型在半结构化文件上进行了广泛研究。然而，针对非结构化文件的研究仍是一项新兴的研究主题。本文提出了一种方法，将之前在半结构化文件上探索的多模态转换器（即 ViBERTgrid）适用于非结构化金融文件，方法是 incorporating 一个 BiLSTM-CRF 层。 proposed ViBERTgrid BiLSTM-CRF 模型在金融领域从非结构化文档中进行命名实体识别方面性能提升了最高 2 个百分点，同时保持了在半结构化文档上的 KIE 性能。作为额外贡献，我们公开发布了 SROIE 数据集的 token 级别注释，以便其在多模态序列标注模型中使用。
引用
@article{arxiv.2409.15004,
title = {ViBERTgrid BiLSTM-CRF: Multimodal Key Information Extraction from Unstructured Financial Documents},
author = {Furkan Pala and Mehmet Yasin Akpınar and Onur Deniz and Gülşen Eryiğit},
journal= {arXiv preprint arXiv:2409.15004},
year = {2024}
}
备注
Accepted in MIDAS (The 8th Workshop on MIning DAta for financial applicationS) workshop of ECML PKDD 2023 conference