单教师视角增强：通过角度多样性提升知识蒸馏

知识蒸馏旨在通过从大型高容量教师模型中迁移知识来训练轻量级学生模型。近期研究表明，利用多样化的教师视角可以显著提升蒸馏性能；然而，实现这种多样性通常需要多个教师网络，导致计算成本高昂。本文提出一种新颖且成本高效的知识增强方法，通过为单个教师模型附加多个分支来生成多样化的多视角。为确保多视角间有意义的语义变化，我们引入了两个角度多样性目标：1) 约束性视角间多样性损失，在保持与原始教师输出接近的同时最大化增强视角之间的角度；2) 视角内多样性损失，鼓励视角在原始输出周围均匀分布。这些角度多样性视角的集成知识与原始教师知识一同被蒸馏到学生模型中。我们进一步从理论上证明，我们的目标函数增加了集成成员间的多样性，从而降低了集成期望损失的上界，实现了更有效的蒸馏。实验结果表明，我们的方法在各种配置下均优于现有的知识增强方法。此外，所提方法能以即插即用的方式与其他知识蒸馏框架兼容，持续提升泛化性能。