通过逆对抗攻击实现校准增强网络
计算机视觉与模式识别
2025-04-10 v1
摘要
随着人机界面 (HMI) 软件设计和内容的复杂性不断增加，测试自动化变得越来越重要。当前的标准做法使用光学字符识别 (OCR) 技术从 HMI 屏幕中自动提取文本信息进行验证。目前在 HMI 屏幕验证中实现自动化的一个关键挑战是处理 OCR 模型的噪声。本文我们提议利用对抗训练技术来增强 HMI 测试场景下的 OCR 模型。更具体地，我们设计了一种用于 OCR 模型的新型对抗攻击目标，以发现 HMI 测试上下文中的决策边界。随后我们采用对抗训练来优化决策边界，以实现更稳健、更准确的 OCR 模型。此外，我们还构建了一个基于真实世界要求的 HMI 屏幕数据集，并将多种类型的扰动应用于干净的 HMI 数据集，以提供对潜在情景的更完整覆盖。我们进行实验，表明使用对抗训练技术可获得对各种类型噪声更稳健的 OCR 模型，同时保持高的 OCR 模型准确度。进一步的实验甚至表明，对抗训练模型对来自其他图案的扰动也表现出一定程度的鲁棒性。
引用
@article{arxiv.2504.06358,
title = {Towards Calibration Enhanced Network by Inverse Adversarial Attack},
author = {Yupeng Cheng and Zi Pong Lim and Sarthak Ketanbhai Modi and Yon Shin Teo and Yushi Cao and Shang-Wei Lin},
journal= {arXiv preprint arXiv:2504.06358},
year = {2025}
}
备注
11 pages