伪造答案：面向无OCR文档视觉问答的对抗性伪造攻击
计算机视觉与模式识别
2025-12-05 v1
摘要
文档视觉问答（DocVQA）使基于文档输入中信息的端到端推理成为可能。尽管近期模型已展现出令人印象深刻的能力，但它们仍然容易受到对抗攻击。在本工作中，我们引入了一种新的攻击场景，旨在以视觉上不可感知但语义上定向的方式伪造文档内容，使对抗者能够诱导DocVQA模型产生特定或一般错误的答案。我们开发了专门的攻击算法，能够为不同攻击者的目标生成对抗性伪造文档，范围从定向虚假信息到系统性模型失败场景。我们针对两种端到端最先进模型展示了我们方法的有效性：Pix2Struct，一种通过序列到序列建模联合处理图像和文本的视觉语言Transformer，以及Donut，一种直接从文档图像中提取文本和回答问题的基于Transformer的模型。我们的发现揭示了当前DocVQA系统中的关键漏洞，并呼吁开发更鲁棒的防御方法。
引用
@article{arxiv.2512.04554,
title = {Counterfeit Answers: Adversarial Forgery against OCR-Free Document Visual Question Answering},
author = {Marco Pintore and Maura Pintor and Dimosthenis Karatzas and Battista Biggio},
journal= {arXiv preprint arXiv:2512.04554},
year = {2025}
}