PathInsight：面向病理学智能辅助诊断的多模态数据集与模型的指令微调
计算机视觉与模式识别
2024-08-14 v1 人工智能
摘要
病理学诊断仍是识别肿瘤的金标准。多模态大模型的兴起简化了图像分析与文本描述相结合的过程。尽管取得了这一进展，训练和部署这些复杂多模态模型的巨大成本，加上高质量训练数据集的稀缺，在尖端技术与临床应用之间造成了显著鸿沟。我们精心构建了一个包含约45,000例病例的数据集，涵盖6种以上不同任务，包括器官组织分类、生成病理报告描述以及解答病理相关问题。我们使用该数据集对多模态大模型（特别是LLaVA、Qwen-VL、InternLM）进行了微调，以提升其基于指令的性能。我们对该基础模型和微调模型在特定数据集上执行图像描述和分类任务的能力进行了定性评估。评估结果表明，微调后的模型在处理典型病理问题方面表现出色。我们希望公开我们的模型和数据集，能够对医学界和科研界有所裨益。
关键词
引用
@article{arxiv.2408.07037,
title = {PathInsight: Instruction Tuning of Multimodal Datasets and Models for Intelligence Assisted Diagnosis in Histopathology},
author = {Xiaomin Wu and Rui Xu and Pengchen Wei and Wenkang Qin and Peixiang Huang and Ziheng Li and Lin Luo},
journal= {arXiv preprint arXiv:2408.07037},
year = {2024}
}
备注
10 pages, 2 figures