利用蒸馏统一异构分类器
计算机视觉与模式识别
2019-04-15 v1 机器学习
摘要
本文研究在仅给定一组通用无标签数据的情况下，将一组具有不同架构与目标类别的分类器的知识统一进单一分类器的问题。我们称此问题为统一异构分类器（UHC）。该问题的动机源于数据来自多源但各源因隐私等顾虑不能共享数据、仅能共享私有训练模型的场景。此外，各源可能因数据可得性无法收集训练所有类别的数据，且可能因计算资源不同而无法训练相同的分类模型。为应对该问题，我们提出知识蒸馏的一种推广以合并异构分类器（HCs）。我们推导了 HCs 输出与所有类别上概率之间的概率关系。基于此关系，我们提出基于交叉熵最小化与矩阵分解的两类方法，可从无标签样本估计所有类别的软标签并用以替代真实标签训练统一分类器。我们在 ImageNet、LSUN 与 Places365 数据集上的大量实验表明，我们的方法显著优于朴素蒸馏扩展，并几乎可达到集中式有监督训练分类器的精度。
引用
@article{arxiv.1904.06062,
title = {Unifying Heterogeneous Classifiers with Distillation},
author = {Jayakorn Vongkulbhisal and Phongtharin Vinayavekhin and Marco Visentini-Scarzanella},
journal= {arXiv preprint arXiv:1904.06062},
year = {2019}
}
备注
Accepted to CVPR 2019