皮肤病学 AI 中零样本概念生成的数据对齐

皮肤病学中的 AI 正在快速发展，但训练可信分类器的主要限制是缺乏具有真实概念级标签的数据，这些标签是对人类具有语义意义的元标签。像 CLIP 这样提供零样本能力的基础模型可以通过利用互联网上大量可用的图像-文本对来帮助缓解这一挑战。可以使用特定领域的图像-文本对微调 CLIP，以提升分类性能。然而，CLIP 的预训练数据与临床医生用于进行诊断的医学术语并未良好对齐。近年来大型语言模型（LLMs）的发展使得利用这些模型的表达能力来生成丰富文本成为可能。我们的目标是使用这些模型生成既符合临床词汇，又与 CLIP 预训练数据中使用的自然人类语言良好对齐的描述文本。从 PubMed 文章中图像使用的描述开始，我们通过将原始描述输入到基于该领域多本教科书微调的 LLM 中来对其进行扩展。我们发现，使用像 GPT-3.5 这样富有表现力的微调 LLM 生成的描述，提升了下游零样本概念分类的性能。