并非所有知识生而平等:置信知识的互蒸馏
机器学习
2022-11-17 v3 人工智能
计算机视觉与模式识别
摘要
互知识蒸馏(MKD)通过从另一模型蒸馏知识来改进模型。然而,并非所有知识都是确定且正确的,尤其在不利条件下。例如,标签噪声通常因不良记忆而导致模型可靠性降低 \cite{zhang2017understanding,arpit2017closer}。错误的知识会误导学习而非提供帮助。该问题可从两方面着手:(i) 提高知识来源模型的可靠性(即知识源的可靠性);(ii) 为蒸馏筛选可靠知识。文献中,提升模型可靠性已被广泛研究,而选择性 MKD 鲜受关注。因此,我们聚焦于研究选择性 MKD。具体地,设计了一个通用 MKD 框架,即先置信知识筛选再互蒸馏(CMD)。CMD 的关键组件是一种通用知识筛选形式,使筛选阈值可为静态(CMD-S)或渐进(CMD-P)。此外,CMD 涵盖两种特例:零知识与全知识,从而构成一个统一的 MKD 框架。我们给出了大量实验以证明 CMD 的有效性并充分论证其设计。例如,CMD-P 在抗标签噪声鲁棒性上取得了新的最优(state-of-the-art)结果。
引用
@article{arxiv.2106.01489,
title = {Not All Knowledge Is Created Equal: Mutual Distillation of Confident Knowledge},
author = {Ziyun Li and Xinshao Wang and Di Hu and Neil M. Robertson and David A. Clifton and Christoph Meinel and Haojin Yang},
journal= {arXiv preprint arXiv:2106.01489},
year = {2022}
}
备注
NeurIPS 2022 Workshop(Trustworthy and Socially Responsible Machine Learning) paper