簇感知半监督学习：关系知识蒸馏可证明地学习聚类
机器学习
2023-10-25 v2 机器学习
摘要
尽管（关系）知识蒸馏在匹配教师与学生模型之间（特征的）关系方面取得了经验成功与实际意义，但对应于各种知识蒸馏范式的理论解释仍然有限。在这项工作中，我们朝着关系知识蒸馏（RKD）的理论理解迈出初步一步，聚焦于半监督分类问题。我们首先将 RKD 视为由教师模型揭示的、在总体诱导图上的谱聚类。通过一种量化预测聚类与真实聚类之间差异的聚类误差概念，我们说明在总体上进行 RKD 可证明地导致低聚类误差。此外，我们给出了在有限无标签样本下 RKD 的样本复杂度界。对于半监督学习，我们通过一个假设低聚类误差的簇感知半监督学习通用框架，进一步展示了 RKD 的标签效率。最后，通过将数据增强一致性正则化统一到该簇感知框架中，我们表明尽管学习准确聚类具有共同效果，RKD 通过谱聚类促进了“全局”视角，而一致性正则化则通过扩展聚焦于“局部”视角。
引用
@article{arxiv.2307.11030,
title = {Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering},
author = {Yijun Dong and Kevin Miller and Qi Lei and Rachel Ward},
journal= {arXiv preprint arXiv:2307.11030},
year = {2023}
}
备注
NeurIPS 2023