基于大语言模型与实例分割的牙科 panoramic X光片半监督分类：真实数据集评估
计算机视觉与模式识别
2024-06-27 v1 人工智能
摘要
牙科全景X光片提供了广泛的诊断机会，但由于标注数据不足，训练监督式深度学习网络进行自动分析受阻。本文提出一种不同视角的方法，用于对牙科 panoramic X光片进行半监督学习，以分类13种牙科病灶，尤其关注牙齿。探索了基于牙科报告的大语言模型用于注释最常见的牙科病灶。此外，采用掩码自编码器对分类神经网络进行预训练，并使用Vision Transformer利用未标记数据。结果在两个最广泛的数据集中得到验证，包含8795张 panoramic X光片和8029份配对报告和图像。令人鼓舞的是，结果始终达到或超过基线指标中的Matthews相关系数。与人类医师的比较，经统计学分析，凸显了其有效性和局限性；根据专家间一致性程度，该方案的准确率相当于初级专家。
引用
@article{arxiv.2406.17915,
title = {Semi-supervised classification of dental conditions in panoramic radiographs using large language model and instance segmentation: A real-world dataset evaluation},
author = {Bernardo Silva and Jefferson Fontinele and Carolina Letícia Zilli Vieira and João Manuel R. S. Tavares and Patricia Ramos Cury and Luciano Oliveira},
journal= {arXiv preprint arXiv:2406.17915},
year = {2024}
}
备注
43 pages, 12 figures, 9 tables