使用深度卷积神经网络与 LSTMs 读取汽车车牌

本文中，我们解决自然场景图像中汽车车牌检测与识别的问题。受深度神经网络（DNNs）在各种视觉应用成功表现的启发，我们利用 DNNs 在级联框架中学习高层特征，从而在检测和识别上均获得性能提升。首先，我们训练一个 $37$ 类卷积神经网络（CNN）来检测图像中的所有字符，与训练二值文本/非文本分类器等传统方法相比，获得了高召回率。随后，由第二个车牌/非车牌 CNN 分类器消除误检（false positives）。然后基于车牌的边缘信息进行边界框精炼（bounding box refinement），以提高交并比（IoU）。所提级联框架以高召回率和高精度有效提取车牌。最后，我们提出将车牌字符识别作为一个序列标注（sequence labelling）问题。训练一个带有长短期记忆（LSTM）的循环神经网络（RNN）来识别通过 CNN 从整个车牌提取的序列特征。该方法的主要优势在于无需分割（segmentation free）。通过利用上下文信息并避免由分割引起的错误，RNN 方法优于结合分割与深度 CNN 分类的基线方法，并达到了当前最优（state-of-the-art）的识别精度。