基于表单攻击的 Transformer 表单字段抽取器鲁棒性评估
计算机视觉与模式识别
2021-10-12 v1 人工智能
摘要
我们提出一种新颖框架，通过表单攻击评估基于 Transformer 的表单字段抽取方法的鲁棒性。我们引入 14 种新颖的表单变换，从 OCR 层面与表单层面评估最先进字段抽取器对表单攻击的脆弱性，包括 OCR 位置/顺序重排、表单背景篡改与表单字段值增广。我们使用真实发票与收据进行鲁棒性评估，并开展全面的研究分析。实验结果表明，被评估模型极易受表单扰动影响，如字段值变化（F1 分数下降约 15%）、输入文本顺序错乱（F1 分数下降约 15%）以及字段值邻近词扰乱（F1 分数下降约 10%）。在分析指导下，我们就改进字段抽取器设计与数据收集过程提出建议。
引用
@article{arxiv.2110.04413,
title = {Robustness Evaluation of Transformer-based Form Field Extractors via Form Attacks},
author = {Le Xue and Mingfei Gao and Zeyuan Chen and Caiming Xiong and Ran Xu},
journal= {arXiv preprint arXiv:2110.04413},
year = {2021}
}