逆向知识蒸馏：在有限数据下使用小模型训练大模型用于视网膜图像匹配
计算机视觉与模式识别
2023-07-24 v2
摘要
视网膜图像匹配在监测疾病进展和治疗反应方面起着关键作用。然而，带有时间分离图像对之间匹配关键点的数据集并不充足，难以训练基于 transformer 的模型。我们提出了一种基于逆向知识蒸馏的新方法，在有限数据下训练大模型并防止过拟合。首先，我们对一种称为 SuperRetina 的基于 CNN 的半监督方法进行了架构修改，从而帮助我们在公开可用数据集上改善其结果。然后，我们使用较轻的基于 CNN 的模型来训练基于 vision transformer 编码器的计算量更大的模型，这在知识蒸馏研究领域是反直觉的，因为该领域的常规做法是基于较重的模型训练较轻的模型。令人惊讶的是，这种逆向知识蒸馏进一步提升了泛化能力。我们的实验表明，与直接训练以匹配最终输出不同，在表示空间中的高维拟合可能防止过拟合。我们还提供了一个带有标注的公开数据集，用于视网膜图像关键点检测与匹配，以帮助研究界开发视网膜图像应用算法。
引用
@article{arxiv.2307.10698,
title = {Reverse Knowledge Distillation: Training a Large Model using a Small One for Retinal Image Matching on Limited Data},
author = {Sahar Almahfouz Nasser and Nihar Gupte and Amit Sethi},
journal= {arXiv preprint arXiv:2307.10698},
year = {2023}
}