大型视觉语言模型中高效综合特征提取——用于病理分析
计算机视觉与模式识别
2025-05-19 v3 人工智能
摘要
病理诊断对于确定疾病特征、指导治疗和评估预后至关重要，依赖于对高分辨率全切片图像(WSI)的详细、多尺度分析。然而，现有的大型视觉语言模型(LVM)受限于输入分辨率，限制了其在病理图像分析中的效率和准确性。为克服这些问题，我们提出了两种创新策略：混合任务引导的特征增强，旨在跨尺度引导特征提取 toward lesion-related details；以及基于特定提示的细节特征完成，该方法在不牺牲推理速度的情况下，将WSI的粗粒度和细粒度特征集成在一起。我们利用来自多样化病理任务的49万样本构建了病理专业化的LVM，名为OmniPath。广泛的实验表明，该模型在诊断准确性和效率方面显著优于现有方法，为广泛的病理应用提供了一个交互式、符合临床实践的辅助诊断方法。
引用
@article{arxiv.2412.09521,
title = {Efficient and Comprehensive Feature Extraction in Large Vision-Language Model for Pathology Analysis},
author = {Shengxuming Zhang and Weihan Li and Tianhong Gao and Jiacong Hu and Haoming Luo and Xiuming Zhang and Jing Zhang and Mingli Song and Zunlei Feng},
journal= {arXiv preprint arXiv:2412.09521},
year = {2025}
}