基于语言大模型和书籍知识的肾脏数字病理可视化知识检索平台
图像与视频处理
2024-06-28 v1 计算机视觉与模式识别
机器学习
摘要
大型模型已成为主流，但其在数字病理学中的应用仍需探索。同时，肾脏病理图像在诊断肾脏疾病方面发挥着重要作用。我们基于60本肾脏病理学书籍进行图像分割和对应的文本描述配对，基于大型模型对所有图像和文本描述特征进行聚类分析，最终构建一个基于大型模型语义特征的检索系统。基于上述分析，我们建立了一个包含10,317张肾脏病理图像及其对应的文本描述的知识库，然后我们评估了4个大型模型（包括GPT2、gemma、LLma和Qwen）的语义特征能力，以及dinov2大型模型的图像特征能力。此外，我们构建了一个基于文本描述检索病理图像的语义检索系统，并命名为RppD（aidp.zjsru.edu.cn）。
引用
@article{arxiv.2406.18556,
title = {Renal digital pathology visual knowledge search platform based on language large model and book knowledge},
author = {Xiaomin Lv and Chong Lai and Liya Ding and Maode Lai and Qingrong Sun},
journal= {arXiv preprint arXiv:2406.18556},
year = {2024}
}
备注
9 pages, 6 figures