一种借助 GNN 与对比学习的药丸-处方匹配新方法
计算机视觉与模式识别
2022-09-05 v1
摘要
用药错误是可能导致患者不可预测后果的风险之一。为降低该风险，我们开发了一个从移动图像中正确识别药丸-处方的自动系统。具体地，我们定义了所谓的药丸-处方匹配任务，试图将所拍药丸图像与处方中的药丸名称进行匹配。随后我们提出 PIMA，一种利用图神经网络（GNN）与对比学习解决该目标问题的新方法。特别地，GNN 用于学习处方中文本框间的空间关联，从而高亮承载药丸名称的文本框。此外，采用对比学习以促进药丸名称文本表示与药丸图像视觉表示间的跨模态相似性建模。我们进行了充分实验，并在自建的药丸与处方图像真实数据集上证明 PIMA 优于基线模型。具体而言，相较其他基线，PIMA 将准确率从 19.09% 提升至 46.95%。我们相信本工作可开启构建新临床应用、提升用药安全与患者护理的新机遇。
引用
@article{arxiv.2209.01152,
title = {A Novel Approach for Pill-Prescription Matching with GNN Assistance and Contrastive Learning},
author = {Trung Thanh Nguyen and Hoang Dang Nguyen and Thanh Hung Nguyen and Huy Hieu Pham and Ichiro Ide and Phi Le Nguyen},
journal= {arXiv preprint arXiv:2209.01152},
year = {2022}
}
备注
Accepted for publication and presentation at the 19th Pacific Rim International Conference on Artificial Intelligence (PRICAI 2022)