基于图神经网络辅助多模态数据融合的高精度可解释多药片检测框架
计算机视觉与模式识别
2023-03-20 v1
摘要
由于外观上的高度相似性，药片误用十分普遍，已成为一个关键问题，造成了全球三分之一的死亡。因此，药片识别是一个需要深入研究的紧要课题。近来，已有若干尝试利用深度学习来解决药片识别问题。然而，大多数已发表的工作仅考虑单药片识别，且难以区分外观一致的困难样本。此外，大多数现有药片图像数据集仅包含在理想光照条件和干净背景下受控环境中拍摄的单药片图像。在本工作中，我们首次解决真实场景下的多药片检测问题，旨在定位并识别用户在服药时拍摄的药片。此外，我们还引入了一个在非受限条件下拍摄的多药片图像数据集。为处理困难样本，我们提出了一种构建异质先验图的新方法，该图融合了三种药片间关系：共现似然、相对尺寸与视觉语义相关性。随后，我们给出一个将先验信息与药片视觉特征相融合以提升检测精度的框架。我们的实验结果证明了所提框架的鲁棒性、可靠性与可解释性。实验上，它在所有评价指标上均优于全部检测基准。具体而言，我们提出的框架在 COCO mAP 指标上比 Faster R-CNN 提升 9.4%，比原始 YOLOv5 提升 12.0%。我们的研究为保护患者免受用药错误危害的基于 AI 的药片识别方案开辟了新机遇。
引用
@article{arxiv.2303.09782,
title = {High Accurate and Explainable Multi-Pill Detection Framework with Graph Neural Network-Assisted Multimodal Data Fusion},
author = {Anh Duy Nguyen and Huy Hieu Pham and Huynh Thanh Trung and Quoc Viet Hung Nguyen and Thao Nguyen Truong and Phi Le Nguyen},
journal= {arXiv preprint arXiv:2303.09782},
year = {2023}
}
备注
Under review by Plos ONE journal