探索多模态聊天机器人 AI 作为病理诊断副驾驶的可行性：通用模型的缺陷
人机交互
2024-09-25 v1 计算机与社会
摘要
病理图像对于通过可视化细胞和组织水平的异常来诊断和管理 various diseases至关重要。近期人工智能 (AI) 的进展，特别是类似 ChatGPT 的多模态模型，显示出在通过医学视觉语言问答等能力转变医学图像分析的潜力。然而，在临床应用中将病理图像数据与这些 AI 模型集成仍存在显著差距。本研究基准测试了 GPT 在病理图像上的性能，评估其在真实临床记录中的诊断准确性和效率。我们观察到 GPT 在骨科疾病方面表现严重不足，而在其他三大系统的疾病中表现为一般水平。尽管提供了满意的异常注释，GPT 在术语准确性和多模态集成方面始终存在劣势。具体而言，我们展示了 GPT 在解释免疫组化结果和诊断转移癌方面的失败。本研究凸显了当前通用 GPT 模型的弱点，并为病理与先进 AI 的集成做出了贡献。
引用
@article{arxiv.2409.15291,
title = {Exploring the Feasibility of Multimodal Chatbot AI as Copilot in Pathology Diagnostics: Generalist Model's Pitfall},
author = {Mianxin Liu and Jianfeng Wu and Fang Yan and Hongjun Li and Wei Wang and Shaoting Zhang and Zhe Wang},
journal= {arXiv preprint arXiv:2409.15291},
year = {2024}
}