关于目标分类中知识蒸馏损失函数的札记
机器学习
2024-08-28 v3 人工智能
摘要
本研究札记简要介绍了目标分类中使用的知识蒸馏损失函数。特别地，我们讨论了它与先前提出的logits匹配损失函数之间的联系。我们进一步将知识蒸馏视为输出正则化的一种特定形式，并展示了它与标签平滑以及基于熵的正则化之间的关联。
引用
@article{arxiv.2109.06458,
title = {A Note on Knowledge Distillation Loss Function for Object Classification},
author = {Defang Chen},
journal= {arXiv preprint arXiv:2109.06458},
year = {2024}
}
备注
Research Note, 4 pages