在不同图像数据集上训练的联合教师模型的多级特征蒸馏

我们提出了一种新颖的教师-学生框架，用于从在不同数据集上训练的多个教师模型中蒸馏知识。每个教师模型首先在其自身的数据集上从头开始训练。然后，将这些教师模型组合成一个联合架构，该架构在多个表示级别上融合所有教师的特征。联合教师架构在所有数据集的样本上进行微调，从而从所有数据样本中收集有用的通用信息。最后，我们采用多级特征蒸馏程序，将知识传递给每个所考虑数据集的学生模型。我们在七个基准上进行了图像分类实验，并在三个基准上进行了动作识别实验。为了说明我们特征蒸馏程序的能力，学生架构被选择为与各个教师模型的架构相同。为了展示我们方法的灵活性，我们组合了具有不同架构的教师模型。我们表明，我们新颖的多级特征蒸馏 (Multi-Level Feature Distillation, MLFD) 可以显著超越在单个数据集上训练或一次性在所有数据集上联合训练的等效架构。此外，我们通过全面的消融研究证实了所提出的训练程序的每一步都有充分的动机。我们在 https://github.com/AdrianIordache/MLFD 上公开了我们的代码。