基于图像与医学知识图谱辅助的上下文药丸识别

在各种条件和背景下根据所拍摄图像识别药丸已变得愈发重要。已有若干研究致力于利用基于深度学习的方法解决文献中的药丸识别问题。然而，由于药丸外观高度相似，常发生误识别，使药丸识别仍具挑战性。为此，本文提出一种名为PIKA的新方法，利用外部知识提升药丸识别准确率。具体而言，我们针对一个实际场景（称为上下文药丸识别），旨在识别患者服药照片中的药丸。首先，我们提出一种新方法，在外部数据源（此处为处方）存在下建模药丸间的隐式关联。其次，我们提出一种基于游走的知识图谱嵌入模型，从图空间转换至向量空间并提取药丸的浓缩关系特征。第三，给出最终框架，利用基于图像的视觉特征与基于图的关系特征完成药丸识别任务。在该框架中，每个药丸的视觉表示被映射至图嵌入空间，随后用于对图表示执行注意力操作，生成语义丰富的上下文向量以辅助最终分类。据我们所知，这是首项利用外部处方数据建立药物间关联并借助该辅助信息进行分类的研究。PIKA架构轻量，并可灵活嵌入任意识别主干网络。实验结果表明，相较于基线，借助外部知识图谱，PIKA在F1-score上可将识别准确率提升4.8%至34.1%。