从频率视角探索推荐系统的基于特征的知识蒸馏

在本文中，我们从频率视角分析了推荐系统中基于特征的知识蒸馏。通过将知识定义为特征的不同频率分量，我们从理论上证明了常规的基于特征的知识蒸馏等价于对所有知识进行等权重的损失最小化，并进一步分析了这种等损失权重分配方法如何导致重要知识被忽略。鉴于此，我们提出通过重新分配知识权重来强调重要知识。此外，我们提出了 FreqD，一种轻量级的知识重加权方法，以避免计算每个频率分量损失的计算成本。大量实验表明，FreqD 在推荐系统上一致且显著地优于最先进的知识蒸馏方法。我们的代码可在 https://github.com/woriazzc/KDs 获取。