ChatEXAONEPath：面向组织病理学的专家级多模态大语言模型，基于整块切片图像
计算与语言
2025-04-18 v1 计算机视觉与模式识别
摘要
近期研究在医学领域开发大语言模型（LLM），展现出回答专家级问题的能力，并展示了在实际临床场景中帮助医生的潜力。这些研究还注意到，将多种模态与现有LLM集成以更好地理解复杂临床背景的重要性，而这些背景本质上具有多面性。尽管已有研究表明，多模态LLM在组织病理学中能够从给定图像中回答问题，但由于基于小块级数据且受限于公开数据集中信息的限制，缺乏对彻底临床背景的理解。因此，在组织病理学领域发展基于整块切片图像（WSI）的多模态LLM，在WSI可扩展性和适用性方面具有重要意义。本研究引入了一个用于组织病理学的专家级多模态LLM，命名为ChatEXAONEPath。我们构建了一个基于TCGA（The Cancer Genome Atlas）中10,094对整块切片图像和组织病理报告的检索式数据生成管道。我们还展示了一个用于综合理解给定多模态信息中医学背景的AI评估协议，并评估了生成答案与原始组织病理报告的一致性。我们展示了使用ChatEXAONEPath对给定组织病理图像进行诊断的能力，其来自1,134对整块切片图像和报告的接受率为62.9%。我们的方法能够理解跨肿瘤类型的全癌种整块切片图像及其临床背景。我们认为，所提出的模型通过整合多种模态，能够全面理解整块切片图像的复杂形态，为癌症诊断提供辅助医生的潜力。
引用
@article{arxiv.2504.13023,
title = {ChatEXAONEPath: An Expert-level Multimodal Large Language Model for Histopathology Using Whole Slide Images},
author = {Sangwook Kim and Soonyoung Lee and Jongseong Jang},
journal= {arXiv preprint arXiv:2504.13023},
year = {2025}
}