智能手机上纸质收据的自动检测与矫正
计算机视觉与模式识别
2023-03-13 v1 人工智能
人机交互
摘要
我们描述了一款实时智能手机应用的开发，该应用允许用户以新颖方式通过在其收据上方“挥动”手机，让应用自动检测并矫正收据，以供后续文本识别，从而实现纸质收据的数字化。我们表明，传统的用于边缘与角点检测计算机视觉算法，在真实场景中无法鲁棒地检测典型纸质收据的非线性与不连续边缘和角点。当收据与背景颜色相近，或存在其他干扰性矩形物体时尤为如此。在使用仿射投影变换矫正视角时，收据角点位置检测不准确会导致图像失真。我们提出一种创新的收据角点检测方案，将四个角点各自视为独特的“对象”，并训练 Single Shot Detection MobileNet 目标检测模型。我们使用少量真实数据与大量自动生成的合成数据，后者旨在模拟真实世界成像场景。我们表明，所提方法能鲁棒地检测收据的四个角点，在真实数据上取得 85.3% 的收据检测准确率，而传统基于边缘检测的方法仅 36.9%。即便收据颜色与背景几乎无法区分，我们的方法仍有效。此外，我们的方法经训练仅检测中央目标收据的角点，并隐式学会忽略其他收据与其他矩形物体。引入合成数据使我们能训练出更优模型。这些因素相较传统基于边缘检测的方法具有重大优势，使我们能为用户提供更佳体验。
引用
@article{arxiv.2303.05763,
title = {Automatic Detection and Rectification of Paper Receipts on Smartphones},
author = {Edward Whittaker and Masashi Tanaka and Ikuo Kitagishi},
journal= {arXiv preprint arXiv:2303.05763},
year = {2023}
}