基于几何掩码的对抗样本生成与训练用于准确且鲁棒的车牌字符识别
计算机视觉与模式识别
2023-11-23 v1
摘要
在行驶车辆中准确读取污损车牌对自动车牌识别系统而言具有挑战性。此外，车牌常因恶意意图被故意篡改以逃避警方追捕。通常，此类群体和个人知道如何通过细微不易察觉的车牌改动来欺骗现有识别系统。设计开发对此类真实世界“攻击”手段具有鲁棒性的深度学习方法仍是一个活跃的研究问题。作为解决方案，本工作开发了一种鲁棒的车牌字符识别方法。首先从160辆尼泊尔车辆中提取1057张字符图像，作为第一步，我们训练了若干标准深度卷积神经网络，获得了99.5%的字符分类准确率。然而，在用于模拟恶意篡改的对抗图像上，我们的模型准确率降至25%。接下来，我们通过生成并添加几何掩码图像来扩充数据集，重新训练模型，并考察了模型的预测结果。所提出的利用生成的对抗图像进行训练的方法，使我们的对抗攻击感知车牌字符识别（AA-LPCR）模型达到了99.7%的准确率。这一近乎完美的准确率表明，随机几何掩码的思路对于提升车牌识别模型的准确率极为有效。此外，通过可解释性研究来理解模型为何有效，我们识别并突出了输入字符图像中易受攻击的区域。总之，尽管尼泊尔凸字车牌检测系统易受恶意攻击，我们的研究结果表明这些系统可被升级至接近100%的鲁棒性。
引用
@article{arxiv.2311.12857,
title = {Adversarial sample generation and training using geometric masks for accurate and resilient license plate character recognition},
author = {Bishal Shrestha and Griwan Khakurel and Kritika Simkhada and Badri Adhikari},
journal= {arXiv preprint arXiv:2311.12857},
year = {2023}
}