基于层次对比视觉语言学习的高效少样本医学图像分析
计算机视觉与模式识别
2025-01-17 v1 计算与语言
摘要
医学图像分类的少样本学习因标注数据稀缺和医学图像复杂性而面临重大挑战。本文提出了一种新型框架——具有层次对比对齐的自适应视觉语言微调（HiCA），该框架利用大型视觉语言模型（LVLMs）的能力进行医学图像分析。HiCA 引入两种微调策略，结合领域特定预训练和层次对比学习，在多个层次上对视觉和文本表示进行对齐。我们在两个基准数据集上评估了该方法，Chest X-ray 和乳腺超声，两种少样本和零样本设置下均实现了最先进的性能。进一步分析表明，我们方法在鲁棒性、可泛化性和可解释性方面均表现出色，性能相较于现有基线方法有显著提升。我们的工作凸显了层次对比策略在应对医学图像任务独特性挑战方面对 LVLMs 适配潜力的重要性。
引用
@article{arxiv.2501.09294,
title = {Efficient Few-Shot Medical Image Analysis via Hierarchical Contrastive Vision-Language Learning},
author = {Harrison Fuller and Fernando Gabriela Garcia and Victor Flores},
journal= {arXiv preprint arXiv:2501.09294},
year = {2025}
}