组分布鲁棒知识蒸馏
计算机视觉与模式识别
2023-11-02 v1 机器学习
摘要
知识蒸馏可将较大模型学到的特征快速有效地迁移到较小模型。然而，蒸馏目标易受子群体偏移影响，这是医学影像分析中常见的情况，指训练集中代表性不足的数据组/域。例如，在来自多台扫描仪或多家医院的健康数据上训练模型，可能对少数群体产生较差性能。本文受分布鲁棒优化（DRO）技术启发，提出一种组感知蒸馏损失来解决此不足。在优化过程中，一组权重根据给定迭代的每组损失进行更新。这样，我们的方法能动态聚焦于训练期间性能较低的组。我们在两个基准数据集（自然图像与心脏 MRI）上实证验证所提方法 GroupDistil，并显示出最差组准确率的持续提升。
引用
@article{arxiv.2311.00476,
title = {Group Distributionally Robust Knowledge Distillation},
author = {Konstantinos Vilouras and Xiao Liu and Pedro Sanchez and Alison Q. O'Neil and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2311.00476},
year = {2023}
}
备注
9 pages, MLMI workshop