多模态组织病理分析中基于层次原型的域先验
计算机视觉与模式识别
2026-04-28 v1
摘要
数字病理学通过实现对巨像素Whole Slide Images（WSIs）的计算分析，彻底改变了诊断工作流程，但有效解码其复杂肿瘤微环境仍然是巨大的挑战。现有的Multiple Instance Learning（MIL）框架通常将Whole Slide Images视为无结构的补丁包，丢弃了关键形态学语义和空间几何。这一缺乏归纳偏置常导致过拟合背景噪声，无法将视觉特征与高层诊断知识对齐。为克服这些限制，我们提出了层次原型域先验（Hierarchical Prototype-based Domain Priors, HPDP）框架，是一个用于联合病理诊断和预后的统一多模态方法。HPDP通过引入形态学锚定原型系统（Morphologically Anchored Prototype System, MAPS），将学习锚定到可解释的形态学聚类，从而缓解数据驱动的"黑箱"问题；同时引入正弦位置编码器（Sinusoidal Positional Encoder, SPE）以显式建模组织结构。进一步通过层次跨模态对齐（Hierarchical Cross-Modal Alignment, HCMA）模块，使用大语言模型（LLM）生成的描述来上下文细化视觉表征。广泛的实验在七个癌症队列上进行，结果表明HPDP在鲁棒性和可解释性方面实现了领先的性能。
引用
@article{arxiv.2604.23982,
title = {Hierarchical Prototype-based Domain Priors for Multiple Instance Learning in Multimodal Histopathology Analysis},
author = {Xuemei Qiu and Dawei Fan and Yebin Huang and Yanping Chen and Lifang Wei},
journal= {arXiv preprint arXiv:2604.23982},
year = {2026}
}