利用大语言模型的任务特定知识进行半监督3D医学图像分割
图像与视频处理
2024-07-09 v1 计算机视觉与模式识别
摘要
传统的监督式3D医学图像分割模型需要体素级标注，这需要巨大的人力、时间和成本。半监督学习通过利用有限标注和大量未标注的训练样本进行学习，解决了监督学习的这一局限性。然而，最先进的半监督学习模型仍然难以充分利用未标注样本的学习潜力。为了促进从未标注数据中的有效学习，我们引入了LLM-SegNet，它利用大语言模型将任务特定知识整合到我们的协同训练框架中。这些知识帮助模型全面理解感兴趣区域的特征，最终实现更高效的分割。此外，为了进一步减少错误分割，我们提出了一种统一分割损失函数。该损失函数不仅优先考虑模型对前景或背景像素预测置信度高的区域，而且有效处理模型预测置信度不高的区域，从而减少错误分割。在公开的左心房、胰腺CT和Brats-19数据集上的实验表明，LLM-SegNet相比最先进方法具有优越性能。此外，我们进行了多项消融研究，以证明LLM-SegNet利用的各种模块和损失函数的有效性。
引用
@article{arxiv.2407.05088,
title = {Leveraging Task-Specific Knowledge from LLM for Semi-Supervised 3D Medical Image Segmentation},
author = {Suruchi Kumari and Aryan Das and Swalpa Kumar Roy and Indu Joshi and Pravendra Singh},
journal= {arXiv preprint arXiv:2407.05088},
year = {2024}
}
备注
Under Review