SegPrompt：以分割图作为更优提示微调深度模型用于肾结石分类
计算机视觉与模式识别
2023-03-16 v1 机器学习
摘要
近来，深度学习在使用内窥镜图像的肾结石分类中取得了令人鼓舞的结果。然而，标注训练数据的匮乏严重制约了训练模型性能与泛化能力的提升。因此，充分利用手头有限的数据至关重要。本文提出 SegPrompt，从两方面利用分割图来缓解数据短缺问题。首先，SegPrompt 整合分割图以促进分类训练，使分类模型感知感兴趣区域。所提方法允许图像与分割 token 相互交互以充分利用分割图信息。其次，我们将分割图作为提示来调优预训练深度模型，相较原始微调可训练参数大幅减少。我们在收集的肾结石数据集上进行了充分实验。结果表明，SegPrompt 能在模型拟合能力与泛化能力间取得有利平衡，最终以有限训练数据得到有效模型。
引用
@article{arxiv.2303.08303,
title = {SegPrompt: Using Segmentation Map as a Better Prompt to Finetune Deep Models for Kidney Stone Classification},
author = {Wei Zhu and Runtao Zhou and Yao Yuan and Campbell Timothy and Rajat Jain and Jiebo Luo},
journal= {arXiv preprint arXiv:2303.08303},
year = {2023}
}