基于滑动级对比学习的动态残差编码用于全切片图像表征

全切片图像 (WSI) 表征对于癌症亚型分化、癌症识别和突变预测至关重要。训练端到端的 WSI 表征模型面临重大挑战，因为单个大切片可包含数万张图像块，由于当前 GPU 限制，难以在单个 mini-batch 中对所有图像块计算梯度。为此，我们提出一种基于滑动级对比学习的动态残差编码方法 (DRE-SLCL) 用于端到端 WSI 表征。我们的方法利用记忆库存储数据集中所有 WSIs 的特征。在训练期间，一个 mini-batch 通常包含多个 WSIs。对于每个 WSI，在批次中随机抽取一部分图像块并使用图像块编码器计算其特征。然后，从记忆库中选择来自同一 WSIs 的额外图像块特征。最终通过残差编码技术将抽取的特征与从记忆库中检索到的特征相结合，生成每个 individual WSIs 的表征。最后，基于 mini-batch 中 WSIs 的表征及其组织病理报告计算滑动级对比损失。经开展在癌症亚型分化、癌症识别和突变预测任务上的实验表明，所提出的 DRE-SLCL 方法有效。