超越硬负样本：知识蒸馏中得分分布的重要性

通过知识蒸馏（KD）从交叉编码教师模型传递知识已成为训练检索模型的标准范式。虽然已有研究主要聚焦于挖掘硬负样本以提高判别力，但训练数据的系统性组成以及由此产生的教师得分分布获得了相对较少的关注。本文指出，仅关注硬负样本会阻碍学生学习教师的全面偏好结构，potentially hamper generalization。为有效模拟教师得分分布，我们提出了分层抽样（Stratified Sampling）策略，以覆盖整个得分光谱。在域内和域外基准测试中实验表明，分层抽样保留了教师得分的方差和熵，作为鲁棒基线，显著优于顶部K抽样和随机抽样。这些发现表明，蒸馏的本质在于保留教师所感知的相对得分的多样范围。