重新思考自蒸馈：标签平均化与带部分标签的增强软标签细化
机器学习
2025-02-20 v2 机器学习
摘要
我们探讨了在多类分类中自蒸馈机制，特别是在特征提取器固定的情况下的线性探测场景，其中传统的特征学习解释不适用。我们的理论分析揭示，多轮自蒸馈实际上是在具有高特征相关性的实例之间进行标签平均化，由输入特征导出的 Gram 矩阵的特征向量决定。这一过程导致聚类预测并改进泛化，从而通过降低对可能被污染标签的依赖来缓解标签噪声的影响。我们在多轮自蒸馈可实现 100% 人口准确率Despite 标签噪声的条件下建立了理论依据。此外，我们引入一种新颖且高效的单轮自蒸馈方法，使用教师模型前两大 softmax 输出细化后的部分标签，称为 PLL 学生模型。该方法在单轮中复制多轮蒸馈的优势，实现与多轮蒸馈相当或更好的性能——尤其在高噪声情境下——同时显著降低计算成本。
引用
@article{arxiv.2402.10482,
title = {Rethinking Self-Distillation: Label Averaging and Enhanced Soft Label Refinement with Partial Labels},
author = {Hyeonsu Jeong and Hye Won Chung},
journal= {arXiv preprint arXiv:2402.10482},
year = {2025}
}
备注
ICLR 2025