面向增量组织病理学分类的内存高效提示调优

近期研究在组织病理学分类方面取得了显著进展。基于当前的成功，当代工作提出通过从顺序提供的领域进行增量学习，进一步将模型升级为更通用和鲁棒的方向。与先前基于参数隔离的方法（通常在模型更新时需要大量计算资源）不同，我们提出了一种内存高效的提示调优框架，以经济的内存成本培养模型泛化潜力。对于每个新到来的领域，我们重用初始分类模型的现有参数，并将轻量级可训练提示附加到其中进行定制调优。考虑到领域异质性，我们执行解耦提示调优，其中对每个领域采用领域特定提示以独立研究其独特特征，以及一个跨所有领域共享的领域不变提示，以持续探索随时间变化的共同内容嵌入。所有领域特定提示将被附加到提示库中，并与进一步更改隔离，以防止遗忘早期所见领域的独特特征。而领域不变提示将通过风格增强提示精炼传递并迭代演化，以提高模型随时间推移的泛化能力。具体而言，我们构建了一个包含现有提示的图，并构建了一个风格增强图注意力网络，以指导领域不变提示探索所有传递领域之间的重叠潜在嵌入，从而获得更领域通用的表示。我们使用两个组织病理学任务（即乳腺癌转移分类和上皮-间质组织分类）广泛评估了我们的框架，我们的方法在性能和内存效率上均优于竞争方法。