CephGPT-4：基于视觉大语言模型的交互式多模态头影测量与诊断系统
人工智能
2023-07-18 v1 计算与语言
计算机视觉与模式识别
图像与视频处理
摘要
大规模多模态语言模型（LMMs）在通用领域已取得显著成功。然而，基于多模态头影测量医学数据的诊断语言模型探索仍有限。本文中，我们提出一种新颖的多模态头影测量分析与诊断对话模型。首先，构建了一个多模态正畸医学数据集，包含头影测量图像与医患对话数据，并利用U-net自动分析头影测量标志点并生成诊断报告。随后，将头影测量数据集与生成的诊断报告分别在Minigpt-4和VisualGLM上微调。结果表明，CephGPT-4模型表现出优异性能，并具有革新正畸测量与诊断应用的潜力。这些创新在正畸领域具有革命性应用潜力。
引用
@article{arxiv.2307.07518,
title = {CephGPT-4: An Interactive Multimodal Cephalometric Measurement and Diagnostic System with Visual Large Language Model},
author = {Lei Ma and Jincong Han and Zhaoxin Wang and Dian Zhang},
journal= {arXiv preprint arXiv:2307.07518},
year = {2023}
}