基于词元级关系图的知识蒸馏
机器学习
2023-06-23 v1 人工智能
摘要
知识蒸馏是一种将知识从预训练教师模型迁移到学生模型的强大技术。然而，知识迁移的真正潜力尚未被充分挖掘。现有方法主要关注蒸馏个体信息或实例级关系，忽视了嵌入在词元级关系中的有价值信息，而这些信息可能尤其受到长尾效应的影响。为应对上述局限，我们提出一种称为基于词元级关系图的知识蒸馏（TRG）的新方法，其利用词元间关系知识来增强知识蒸馏性能。通过采用 TRG，学生模型可有效模仿教师模型更高层次的语义信息，从而获得改进的蒸馏结果。为进一步加强学习过程，我们引入一种称为上下文损失的词元级上下文损失，其鼓励学生模型捕捉教师模型实例内部的语义上下文。我们开展实验，针对若干最先进方法评估所提方法的有效性。实证结果表明，TRG 在包括涉及不平衡数据的各种视觉分类任务中均具有优越性。我们的方法持续优于现有基线，在知识蒸馏领域确立了新的 SOTA 性能。
引用
@article{arxiv.2306.12442,
title = {Knowledge Distillation via Token-level Relationship Graph},
author = {Shuoxi Zhang and Hanpeng Liu and Kun He},
journal= {arXiv preprint arXiv:2306.12442},
year = {2023}
}