利用架构无关的集成知识蒸馏改进呼吸音分类

呼吸音数据集在规模和质量上受限，使得难以实现高性能。集成模型有所帮助，但不可避免地会增加推理时的计算成本。软标签训练仅在训练时产生额外成本，从而高效地蒸馏知识。在本研究中，我们探索了用于呼吸音分类的软标签，作为一种架构无关的方法，将教师模型集成蒸馏到学生模型中。我们研究了该方法的不同变体，发现即使是与学生结构相同的单一教师也能显著提升超出其自身能力的性能，且仅需少量教师即可实现最佳增益。我们在 ICHBI 上实现了 64.39 的最新 SOTA 分数，比之前的最佳成绩提高了 0.85，并将各架构的平均分数提高了 1.16 以上。我们的结果突出了带有软标签的知识蒸馏在呼吸音分类中的有效性，无论其规模或架构如何。