通过知识蒸馏学习用于小型组织学数据集的视觉Transformer
计算机视觉与模式识别
2023-05-30 v1 人工智能
机器学习
摘要
计算病理学(CPATH)系统有潜力自动化诊断任务。然而,数字化组织学玻璃切片(即全切片图像,WSIs)上的伪影可能妨碍CPATH系统的整体性能。视觉Transformer(ViTs)等深度学习(DL)模型可在运行诊断算法前检测并排除伪影。开发鲁棒且泛化的ViT的简单方式是在海量数据集上训练。遗憾的是,获取大型医学数据集昂贵且不方便,这催生了对WSI通用伪影检测方法的需求。本文提出一种师生配方以提升ViT在气泡检测任务中的分类性能。在师生框架下训练的ViT通过从高容量教师模型蒸馏已有知识来提升性能。我们性能最佳的ViT分别取得0.961和0.911的F1-score与MCC,相较独立训练MCC提升7%。所提方法提供了利用知识蒸馏而非迁移学习的新视角,以鼓励在CPATH系统中使用定制Transformer实现高效预处理流程。
关键词
引用
@article{arxiv.2305.17370,
title = {Vision Transformers for Small Histological Datasets Learned through Knowledge Distillation},
author = {Neel Kanwal and Trygve Eftestol and Farbod Khoraminia and Tahlita CM Zuiverloon and Kjersti Engan},
journal= {arXiv preprint arXiv:2305.17370},
year = {2023}
}
备注
Accepted at PAKDD 2023