面向基础模型的任务驱动提示演化
计算机视觉与模式识别
2023-10-27 v1
摘要
可提示基础模型，特别是 Segment Anything Model（SAM），已成为传统任务特定监督学习用于图像分割的一种有前景的替代方案。然而，许多评估研究发现，它们在医学影像模态上的表现与传统深度学习方法相比不尽如人意。在大型预训练语言与视觉-语言模型领域，从下游任务学习提示已在提升性能方面取得可观成功。在这项工作中，我们提出了一种即插即用的基础模型提示优化技术（SAMPOT），适用于 SAM 等模型，其利用下游分割任务来优化人工提供的提示以获得改进性能。我们在胸部 X 光图像上的肺分割中展示了 SAMPOT 的效用，并在大量病例（约 ）上相较人工提供的初始提示取得改进。我们希望这项工作能推动自动视觉提示调优这一新兴领域的进一步研究。
引用
@article{arxiv.2310.17128,
title = {Task-driven Prompt Evolution for Foundation Models},
author = {Rachana Sathish and Rahul Venkataramani and K S Shriram and Prasad Sudhakar},
journal= {arXiv preprint arXiv:2310.17128},
year = {2023}
}