利用已知子类标签的子类知识蒸馏
机器学习
2022-07-19 v1 信息论
math.IT
摘要
本工作引入了一种新颖的知识蒸馏框架，用于存在可用子类信息并被纳入考虑的分类任务。在类别数较少或二分类检测的任务中，从教师传递给学生信息量受限，从而限制了知识蒸馏的效用。通过利用类内可能子类的信息可提升性能。为此，我们提出了所谓的子类知识蒸馏（Subclass Knowledge Distillation, SKD），即将教师预测的子类知识迁移至更小的学生的过程。教师类logits中不存在但子类logits中存在的有意义信息（如类内相似性）将通过SKD传递给学生，从而提升学生性能。我们分析性地度量了教师通过SKD能向学生提供的额外信息量，以证明我们工作的有效性。所开发的框架在临床应用中进行了评估，即结直肠息肉二分类。这是一个具有两类且每类若干子类的实际问题。在该应用中，临床医生提供的标注以课程式学习风格用于基于标注标签的变异性定义子类。采用SKD框架训练的轻量低复杂度学生取得了85.05%的F1分数，较无常规知识蒸馏训练的学生提升2.10%，较有常规知识蒸馏训练的学生提升1.47%。使用与未使用SKD训练的学生间2.10%的F1分数差距可由额外的子类知识解释，即实验中教师可迁移的额外0.4656标签比特/样本。
引用
@article{arxiv.2207.08063,
title = {Subclass Knowledge Distillation with Known Subclass Labels},
author = {Ahmad Sajedi and Yuri A. Lawryshyn and Konstantinos N. Plataniotis},
journal= {arXiv preprint arXiv:2207.08063},
year = {2022}
}
备注
Published in IVMSP22 Conference. arXiv admin note: substantial text overlap with arXiv:2109.05587