利用不同学习风格改进生物医学影像中的知识蒸馏
计算机视觉与模式识别
2023-11-23 v3 机器学习
摘要
学习风格指个体获取新知识所采用的训练机制类型。如 VARK 模型所示,人类具有不同的学习偏好,如视觉(V)、听觉(A)、读写(R)与动觉(K),用于获取并有效处理信息。我们的工作致力于利用这种知识多样化的概念来改进知识蒸馏(KD)与互学习(ML)等模型压缩技术的性能。为此,我们在统一框架中使用单教师与双学生网络,不仅允许知识从教师传向学生(KD),还鼓励学生间的协作学习(ML)。不同于教师以预测或特征表示形式向学生网络共享相同知识的常规做法,我们提出的方法采用更多样化的策略:用一个学生以教师预测训练,另一个以教师特征图训练。我们进一步通过促进学生网络间预测与特征图的交换来扩展这种知识多样化,丰富其学习体验。我们使用两个不同网络架构组合、在三个基准数据集上针对分类与分割任务进行了综合实验。实验结果表明,在结合的 KD 与 ML 框架中的知识多样化以平均 2% 的提升优于仅使用预测且网络配置相似的常规 KD 或 ML 技术。此外,在不同任务、各种网络架构上相对于最先进(sota)技术的一致性能提升,确立了所提模型的鲁棒性与泛化性。
引用
@article{arxiv.2212.02931,
title = {Leveraging Different Learning Styles for Improved Knowledge Distillation in Biomedical Imaging},
author = {Usma Niyaz and Abhishek Singh Sambyal and Deepti R. Bathula},
journal= {arXiv preprint arXiv:2212.02931},
year = {2023}
}
备注
Accepted in Computers in Biology and Medicine