利用深度学习多头注意力机制精准提取手写处方中的药品
计算机视觉与模式识别
2024-12-25 v1 机器学习
图像与视频处理
摘要
从手写医生处方中提取药品名称因手写体样式和处方格式的多样性而具有挑战性。本文提出一种稳健的方法，通过结合 Mask R-CNN 和基于 Transformer 的光学字符识别（TrOCR）以及多头注意力和位置编码来提取药品名称。利用来自巴基斯坦不同地区的多样化手写处方组成的新型数据集用于对不同手写体样式进行微调。Mask R-CNN 模型对处方图像进行分割，以聚焦于药品部分，而经过多头注意力和位置编码增强的 TrOCR 模型则对分离的文本进行转录。最终将转录文本与预先建立的数据库进行匹配，以实现准确识别。该方法在标准基准测试上实现了 1.4% 的字符错误率（CER），凸显其作为自动化药品名称提取工具的可靠性与效率。
引用
@article{arxiv.2412.18199,
title = {Leveraging Deep Learning with Multi-Head Attention for Accurate Extraction of Medicine from Handwritten Prescriptions},
author = {Usman Ali and Sahil Ranmbail and Muhammad Nadeem and Hamid Ishfaq and Muhammad Umer Ramzan and Waqas Ali},
journal= {arXiv preprint arXiv:2412.18199},
year = {2024}
}