面向少样本湿疹分割的视觉上下文学习
计算机视觉与模式识别
2023-09-29 v1 机器学习
摘要
从数码相机图像中自动诊断湿疹对于开发让患者自我监测恢复情况的应用至关重要。其中一个重要环节是从此类图像中分割出湿疹区域。当前湿疹分割方法依赖于深度神经网络，如基于卷积(CNN)的U-Net或基于Transformer的Swin U-Net。尽管有效，这些方法需要大量标注数据，而这类数据往往难以获取。在此，我们研究了视觉上下文学习的能力，其仅用少量示例即可执行少样本湿疹分割，且无需重新训练模型。具体而言，我们提出了一种将上下文学习应用于湿疹分割的策略，使用名为SegGPT的通用视觉模型。在标注湿疹图像数据集上的基准测试中，我们表明仅使用训练集中2张代表性示例图像的SegGPT表现优于在428张图像上训练的CNN U-Net（mIoU：36.69 vs 32.60）。我们还发现，为SegGPT使用更多示例数量实际上可能损害其性能。我们的结果凸显了视觉上下文学习在开发更快速、更优的皮肤成像任务解决方案中的重要性。我们的结果也为开发包容性解决方案铺平了道路，这些方案可服务于人口统计中通常在训练数据中代表性严重不足的少数群体。
引用
@article{arxiv.2309.16656,
title = {Visual In-Context Learning for Few-Shot Eczema Segmentation},
author = {Neelesh Kumar and Oya Aran and Venugopal Vasudevan},
journal= {arXiv preprint arXiv:2309.16656},
year = {2023}
}