基于分辨率的知识蒸馏用于高效组织学图像分类
图像与视频处理
2021-01-13 v1 计算机视觉与模式识别
摘要
开发深度学习模型来分析组织学图像在计算上具有挑战性，因为图像的海量尺寸给计算流水线的所有部分都带来了过大的压力。本文提出了一种新颖的基于深度学习的方法，用于提高组织学图像分类的计算效率。所提出的方法在使用降低了输入分辨率的图像时具有鲁棒性，并且可以用有限的标注数据有效地训练。我们的方法在原始高分辨率（HR）图像上进行预训练，使用知识蒸馏（KD）将教师模型学到的知识迁移到在相同图像上以低得多分辨率训练的学生模型。为了解决大规模标注组织学图像数据集的缺乏，我们以自监督的方式进行KD。我们在与乳糜泻（CD）和肺腺癌（LUAD）相关的两个组织学图像数据集上评估了我们的方法。我们的结果表明，KD与自监督的结合使学生模型接近并在某些情况下超越教师的分类精度，同时效率更高。此外，我们观察到随着无标注数据集规模的增大，学生分类性能提升，表明有进一步扩展的潜力。对于CD数据，我们的模型以少4倍的计算量优于HR教师模型。对于LUAD数据，我们的学生模型在1.25倍放大倍率下的结果在10倍放大倍率教师模型的3%以内，计算成本降低64倍。此外，我们的CD结果得益于使用更多无标注数据的性能扩展。对于0.625倍放大倍率，使用无标注数据比基线提高4%的精度。因此，我们的方法可以提高在标准计算硬件上数字病理深度学习方案的可行性。
引用
@article{arxiv.2101.04170,
title = {Resolution-Based Distillation for Efficient Histology Image Classification},
author = {Joseph DiPalma and Arief A. Suriawinata and Laura J. Tafe and Lorenzo Torresani and Saeed Hassanpour},
journal= {arXiv preprint arXiv:2101.04170},
year = {2021}
}