MST-KD：面向公平人脸识别的多专家教师知识蒸馏

正如在学校中，单一位老师涵盖所有科目不足以将鲁棒的信息均等蒸馏给学生。因此，每个科目都由一位高度专业的老师教授。遵循类似哲学，我们提出了多专业教师框架，用于将知识蒸馏给学生网络。在我们的方法中，针对人脸识别应用场景，我们在单一种族上训练四位教师，形成四位高度专业化且偏置的教师。我们的策略将这四位教师中的部分教师映射到 common space，并将该信息蒸馏给学生网络。我们的实验结果显示，性能提升且偏置降低。此外，我们进一步表明具有偏置/专业化教师至关重要，表明我们的方法在从四位在平衡数据集上训练的教师处蒸馏知识时，能够获得更好的结果。我们的方法代表了对种族特定特征重要性的一步进步理解。