从有偏软标签中学习
机器学习
2023-02-17 v1
摘要
知识蒸馏已被广泛应用于各种任务并取得了显著成功。自其诞生以来，许多研究者一直被教师模型输出中隐藏的暗知识所吸引。最近，一项研究表明知识蒸馏与标签平滑可以统一为从软标签中学习。因此，如何衡量软标签的有效性成为一个重要问题。大多数现有理论对教师模型或数据分布有严格约束，且许多假设暗示软标签接近真实标签。本文研究有偏软标签是否仍然有效。我们提出两个更全面的指标来衡量此类软标签的有效性。基于这两个指标，我们给出充分条件是确保基于有偏软标签的学习器具有分类器一致性与 ERM 可学习性。该理论应用于三个弱监督框架。实验结果验证了有偏软标签也能教出好的学生，印证了理论的合理性。
引用
@article{arxiv.2302.08155,
title = {Learning From Biased Soft Labels},
author = {Hua Yuan and Ning Xu and Yu Shi and Xin Geng and Yong Rui},
journal= {arXiv preprint arXiv:2302.08155},
year = {2023}
}