基于知识蒸馏增强的多模态架构用于白细胞分类
图像与视频处理
2022-08-18 v1 计算机视觉与模式识别
机器学习
摘要
近年来，许多自动化的白细胞（WBC）或白细胞分类技术已被开发。然而，这些方法都仅利用单模态显微图像，即血涂片或荧光基图像之一，从而错失了从多模态图像中更好学习的潜力。在本工作中，我们基于首个此类多模态WBC数据集开发了一种高效的多模态架构，用于WBC分类任务。具体而言，我们提出的思路分两步实现——1）首先，我们仅在单一网络内部学习模态特定的独立子网络；2）我们进一步通过从高复杂度独立教师网络蒸馏知识，增强独立子网络的学习能力。由此，我们提出的框架能在保持低复杂度的同时，针对多模态数据集取得高性能。我们的独特贡献有两点——1）我们提出了首个用于WBC分类的多模态WBC数据集；2）我们开发了一种高性能且同时高效、低复杂度的多模态架构。
引用
@article{arxiv.2208.08331,
title = {Leukocyte Classification using Multimodal Architecture Enhanced by Knowledge Distillation},
author = {Litao Yang and Deval Mehta and Dwarikanath Mahapatra and Zongyuan Ge},
journal= {arXiv preprint arXiv:2208.08331},
year = {2022}
}
备注
Accepted to MICCAI 2022 workshop - MOVI2022