路径RAG：基于HistoCartography的开放式病理视觉问答关键区域检索
计算机视觉与模式识别
2025-04-23 v1 人工智能
摘要
准确的诊断和预后依赖于病理图像，对癌症治疗选择和计划至关重要。尽管近期趋势采用深度学习方法来分析复杂的病理图像，但这些方法往往忽视组织结构和细胞组成的领域专家理解。在本工作中，我们聚焦于一个具有挑战性的开放式病理视觉问答(PathVQA-Open)任务，提出了一种新型框架，称为Path-RAG，该框架利用HistoCartography从病理图像中检索相关领域知识，显著提高了PathVQA-Open上的性能。鉴于病理图像分析的复杂性，Path-RAG采用以人类为中心的AI方法，通过HistoCartography检索领域知识以选择病理图像中相关的图像块。我们的实验表明，领域指导显著提高了LLaVA-Med从38%到47%的准确率，在PathVQA-Open数据集上的H&E染色病理图像提升了可观ilde28%。对于较长的问答对，本模型在ARCH-Open PubMed和ARCH-Open Books上的H&E图像上分别实现了32.5%和30.6%的显著性提升。我们的代码和数据集可在此处获取(https://github.com/embedded-robotics/path-rag)。
引用
@article{arxiv.2411.17073,
title = {Path-RAG: Knowledge-Guided Key Region Retrieval for Open-ended Pathology Visual Question Answering},
author = {Awais Naeem and Tianhao Li and Huang-Ru Liao and Jiawei Xu and Aby M. Mathew and Zehao Zhu and Zhen Tan and Ajay Kumar Jaiswal and Raffi A. Salibian and Ziniu Hu and Tianlong Chen and Ying Ding},
journal= {arXiv preprint arXiv:2411.17073},
year = {2025}
}