面向黑盒假设迁移学习的动态知识蒸馏
机器学习
2020-08-10 v2 机器学习
摘要
在医疗健康等现实世界应用中，构建一个在不同机构间普遍适用的机器学习预测模型通常很困难。同时，可用的模型往往是专有的，即模型参数和用于模型训练的数据集都不可访问。因此，利用隐藏在该可用模型（即假设）中的知识并将其适应到本地数据集变得极具挑战性。受此情况启发，本文旨在解决假设迁移学习框架下的一个特定情况，其中1）源假设是一个黑盒模型，2）源域数据不可用。我们特别提出了一种名为动态知识蒸馏用于假设迁移学习（dkdHTL）的新算法。在该方法中，我们使用带有实例级加权机制的知识蒸馏，自适应地将“暗”知识从源假设迁移到目标域。蒸馏损失和标准损失的加权系数由源假设的预测概率与目标真实标签之间的一致性决定。在迁移学习基准数据集和一个医疗健康数据集上的实证结果证明了我们方法的有效性。
引用
@article{arxiv.2007.12355,
title = {Dynamic Knowledge Distillation for Black-box Hypothesis Transfer Learning},
author = {Yiqin Yu and Xu Min and Shiwan Zhao and Jing Mei and Fei Wang and Dongsheng Li and Kenney Ng and Shaochun Li},
journal= {arXiv preprint arXiv:2007.12355},
year = {2020}
}
备注
7 pages, 2 figures