基于 Transformer 的光学字符识别对对抗攻击的脆弱性分析
计算机视觉与模式识别
2023-11-30 v1 人工智能
摘要
近期光学字符识别（OCR）的进展由基于 Transformer 的模型推动。OCR 系统在许多高风险领域至关重要，但其对对抗攻击的脆弱性在很大程度上仍属未知领域，引发了关于安全性与新兴 AI 法规合规性的担忧。本工作中，我们提出一种评估基于 Transformer 的 OCR（TrOCR）模型鲁棒性的新框架。我们开发并评估了定向与非定向攻击算法。对于非定向情形，我们度量字符错误率（CER）；而对于定向情形，我们使用成功率。我们发现 TrOCR 对非定向攻击高度脆弱，对定向攻击的脆弱性稍低。在一个基准手写数据集上，非定向攻击可在肉眼不可察觉的情况下导致 CER 超过 1。在相似扰动大小下，定向攻击可带来约 的成功率——此处我们攻击单个词元，要求 TrOCR 从大词表中输出第十可能词元。
引用
@article{arxiv.2311.17128,
title = {Vulnerability Analysis of Transformer-based Optical Character Recognition to Adversarial Attacks},
author = {Lucas Beerens and Desmond J. Higham},
journal= {arXiv preprint arXiv:2311.17128},
year = {2023}
}