通过观察学习路径获得更好的监督信号
机器学习
2022-03-07 v1 机器学习
摘要
监督更好的模型可能具有更优性能。本文首先阐明何种监督对分类问题而言是良好的，并依据所提准则解释两种已有标签精炼方法——标签平滑（label smoothing）与知识蒸馏（knowledge distillation）。为进一步回答更好监督为何及如何产生，我们观察每个训练样本的学习路径，即训练期间模型预测的轨迹。我们发现模型可通过“之字形”学习路径自发精炼“坏”标签，该现象在玩具与真实数据集上均出现。观察学习路径不仅为理解知识蒸馏、过拟合与学习动态提供了新视角，还揭示在真实任务中教师网络监督信号在训练最佳点附近可能极不稳定。受此启发，我们提出一种新的知识蒸馏方案 Filter-KD，在多种设定下提升了下游分类性能。
引用
@article{arxiv.2203.02485,
title = {Better Supervisory Signals by Observing Learning Paths},
author = {Yi Ren and Shangmin Guo and Danica J. Sutherland},
journal= {arXiv preprint arXiv:2203.02485},
year = {2022}
}
备注
Published at ICLR 2022: https://openreview.net/forum?id=Iog0djAdbHj