主动提示调优使GPT-4o能够高效分类显微镜图像

基于深度学习的显微镜图像细胞特征分类方法需要耗费大量时间和人力进行模型训练。当前限制包括领域专家为精确标注真实值所需的大量时间投入，以及对大量输入图像数据的需求。我们此前提出了一种利用OpenAI的GPT-4(V)模型在试点数据集上克服这些挑战的方法（11只小鼠大脑的Iba-1免疫染色组织切片）。在试点数据集上，该方法在准确率上与传统卷积神经网络（CNN）基线方法相当，同时在吞吐量效率上有显著提升。本研究在此框架基础上，使用一个独特且规模更大的显微镜图像数据集进行扩展。我们的方法采用更新、更快的GPT-4o模型，并结合改进的提示策略。我们在来自18只小鼠大脑（9只Lurcher突变小鼠，9只野生型对照）的低倍率（10x）放大倍率下采集的cresyl-violet染色小脑切片图像数据集上评估了该方法。我们使用该方法将这些图像分类为对照组或Lurcher突变体。使用6只小鼠构建提示集后，结果显示12只小鼠中有11只被正确分类（92%），效率提升96%，图像需求减少，对领域专家的时间和精力要求也低于基线方法（CNN快照集成）。这些结果证实我们的方法在来自不同脑区和放大倍率的多数据集上均有效，且开销极小。