空间感知 ModernBERT：金融文档大规模表格与键值对提取
计算与语言
2025-07-15 v1
摘要
从金融文档中提取表格和键值对对于业务流程（如审计、数据分析和自动化发票处理）至关重要。本文引入 Spatial ModernBERT——一个增强了空间嵌入的基于转换器的模型，用于准确检测和提取复杂金融文档中的表格数据和键值字段。我们将提取任务作为 token 分类问题来解决，包含三个头部：（1）标签头部，对每个 token 进行分类，标记其为标签（如订单编号、订单日期、物品描述、数量、基本费用、零售价格等）；（2）列头部，预测列索引；（3）行头部，区分物品行和标题行的起始。该模型在 PubTables-1M 数据集上进行预训练，然后在金融文档数据集上进行微调，通过每个分类头的交叉熵损失实现稳健的性能。我们提出了一种后处理方法，用于基于 B-I-IB 标记合并 token，重构表格布局，并提取键值对。实证评估表明，Spatial ModernBERT 有效地利用了文本和空间线索，在实际金融文档中实现了高度准确的表格和键值对提取。
关键词
引用
@article{arxiv.2507.08865,
title = {Spatial ModernBERT: Spatial-Aware Transformer for Table and Key-Value Extraction in Financial Documents at Scale},
author = {Javis AI Team and Amrendra Singh and Maulik Shah and Dharshan Sampath},
journal= {arXiv preprint arXiv:2507.08865},
year = {2025}
}