HOMIE：用于病理学组合检索的组织病理多模态嵌入
计算机视觉与模式识别
2025-12-30 v3
摘要
人工智能在病理学领域的集成面临一个根本性挑战：黑箱预测模型缺乏可解释性，而生成式方法则可能导致临床幻觉。基于案例的检索范式为临床应用提供了更具可解释性的替代方案。然而，当前的最先进方法局限于双编码器架构，无法处理现实世界临床查询的组合模态。我们正式定义了病理学组合检索（Pathology Composed Retrieval, PCR）任务。然而，该新定义的任务进展受到两个关键挑战的制约：（1）多模态大语言模型（MLLM）提供了必要的深度融合架构，但存在严重的任务不匹配和领域不匹配问题。（2）缺乏评估此类组合查询的基准数据集。为解决这些挑战，我们提出了HOMIE，一个系统性的框架，将通用MLLM转化为专用的检索专家。HOMIE通过两个阶段解决双重不匹配：检索适应阶段解决任务不匹配问题，病理学特定调优阶段采用渐进式知识课程、病理学特异性染色和原始分辨率处理，以解决领域不匹配问题。我们还引入了PCR基准数据集，旨在评估病理学中的组合检索。实验表明，仅使用公开数据训练的HOMIE在传统检索任务上达到最先进水平，在新定义的PCR任务中超越了所有基线方法。
引用
@article{arxiv.2502.07221,
title = {HOMIE: Histopathology Omni-modal Embedding for Pathology Composed Retrieval},
author = {Qifeng Zhou and Wenliang Zhong and Thao M. Dang and Hehuan Ma and Saiyang Na and Yuzhi Guo and Junzhou Huang},
journal= {arXiv preprint arXiv:2502.07221},
year = {2025}
}